ListenHub Hypit

ListenHub の Skill はたいてい成果物を 1 つ作ります — エピソード、トラック、画像。listenhub-hypit が作るのは動画プロジェクトです。参考クリップ、ブリーフ、あるいはあなた自身の映像素材を受け取り、完成版に何が必要かを割り出し、足りない素材をすべて ListenHub で生成して、hypit プロジェクトに組み上げます。このプロジェクトはあなたのマシン上で MP4 にレンダリングでき、セリフを 1 行変えたあとに再レンダリングすることもできます。

始める前に、この役割分担を理解しておく価値があります：

• ListenHub は生成と文字起こしを担当します。画像、動画のテイク、音声、クローンしたボイス、音楽、単語単位の文字起こしは、いずれも ListenHub の公開 API から得られ、クレジットで課金されます。
• hypit は外部の、ローカルにインストールする CLI です。映像を解析し、Script — プロジェクト内のすべてのセリフ、セグメント、タイミングを記録した hypit の構造化データ — を保持し、字幕のアライメントを計算し、合成し、レンダリングします。あなたのマシン上で動作し、実行に費用はかかりません。
• 同梱の Provider が両者の橋渡しです。2 つの hypit 機能 — 単語単位のアライメントと背景除去 — を、サードパーティのクラウドではなく ListenHub をバックエンドとして提供します。

HypiHub のアカウントは不要です。プロジェクト、レンダリング、キーイングはあなたのマシン上にとどまります。マシンの外に出るのは、ListenHub API の呼び出しが送るものだけです — そしてその呼び出しは、見積もりで事前に 1 つずつ列挙されます。

トリガー

/listenhub-hypit でこの Skill を呼び出すか、次のいずれかのフレーズを使用します：

ListenHub Skills のインストールが必要です — はじめに を参照してください。

簡単な例

Remake this clip with my product in it, keep the original BGM, swap the voiceover to English:
https://example.com/reference.mp4

AI がクリップを解析（probe）し、構成を計画し、項目ごとに分けた見積もりを返します。あなたが承認するまで課金は発生しません。

連鎖する機能

この Skill は生成処理を作り直しません。各ジョブを、それをすでに担っている ListenHub の Skill に振り分け、その Skill のデフォルト値を引き継ぐのではなく、モデルとパラメータを明示的に渡します。

前提条件

インストールも実行も AI が自分で行います — これらのコマンドを自分で打つ必要はありません。

npx skills add hypit-ai/hypit -g
npm init -y
npm install @hypit/hypit@0.2.1
npm install --install-links <path-to-installed-skill>/listenhub-hypit/provider
npx hypit runtime init

<path-to-installed-skill> は、AI が ListenHub Skills をインストールした場所です — AI が自分で解決しますし、下で参照している templates/ のファイルも同じディレクトリにあります。

動画プロジェクト専用のディレクトリで作業し、hypit のコマンドはすべて npx hypit 経由で実行してください。そうすれば PATH 上にあるものではなく、プロジェクトに固定されたバージョンが使われます。

API キーは hypit の資格情報ストアに保存され、プロファイルやコマンドラインには一切書き込まれません：

npx hypit auth login listenhub.local --slot apiKey --from /private/temporary/key-file
npx hypit auth status listenhub.local --json

終わったら一時ファイルは削除してください。デスクトップキーリングのない Linux では、hypit はユーザー専用ファイルにフォールバックします。macOS と Windows はシステムの資格情報ストアを使います。

レンダリングにはマネージドランタイム（Chrome、OpenCV）が必要で、これは新しいマシンには入っていません：

npx hypit runtime up --runtime ./hypit.runtime.json
npx hypit doctor --runtime ./hypit.runtime.json --json

これらのローカルインストールにクレジットはかかりません。MANAGED_PROGRAM_DOWN エラーはランタイムの問題であって、生成の失敗ではありません — 課金対象のものを送信する前に解消してください。

制作の流れ

npx hypit check narration.svrun --json
npx hypit plan narration.svrun --runtime ./hypit.runtime.json --json
npx hypit build narration.svrun --runtime ./hypit.runtime.json --follow

出発点となるテンプレートが 4 つ同梱されています — narration、dialogue、action、cutout、それに共通の styles.svs。これらは編集して使う例であり、固定のフォーマットではありません：題材もキャラクターの種類も制限はなく、1 本のタイムラインにセリフのあるセグメントとアクションだけのセグメントを混在させられます。

参考音声を再利用する

すでに手元にある音をそのまま使うのが、ワークフロー全体でいちばん安く済む道であり、この Skill は生成し直すのではなくこちらをデフォルトにします。

自分で作っていない音声については、その権利を保有している責任はあなたにあります。Skill は一度だけそれを確認しますが、その回答を検証することはなく、あなたに代わって権利をクリアすることもありません。

費用

見積もりを見る前に、課金対象の処理が実行されることはありません。Skill は予定している項目をすべて — 静止画、モデルと長さを添えたセグメントごとのテイク、TTS の文字単位、音楽トラック、文字起こしのミリ秒、切り抜き、クローンの保存 — 各価格の出どころ、合計、あなたの残高とともに一覧表示します。

価格は、ライブの見積もりエンドポイントが存在する限り、そこから取得します：

動画の見積もりはクレジットではなく米ドルで返ってくるため、Skill はサービスの現在のレートで換算し、両方の数値を見積もりに残します。文字起こしは音声の開始された 1 分ごとに 1 クレジットで、タスクが確定するまでは控除ではなく予約として扱われます。切り抜きは、アカウントに Seedream の無料画像生成枠が残っている間はそこから消費されますが、見積もりエンドポイントは常に満額のクレジット費用を報告します — つまり見積もりは最悪ケースを示し、実際に消費された分は突き合わせで示されます。

見積もりエンドポイントがない項目は、日付入りのレート表から見積もり、その旨を明示します。既存の素材、ローカルでの抽出・カット・ミックスは 0 として一覧に載ります。セリフを 1 行変えたり、バリエーションを 1 つ増やしたりした場合は、新しく発生する作業だけを再見積もりします。全体の再確認が必要になるのは、アカウント、スコープ、予算が変わるときだけです。

残高は各呼び出しの前後で記録され、すべてのタスクの ID、モデル、課金対象の出力が見積もりと突き合わされます。失敗による返金と未確定の予約は、別立てで一覧化されます。

同梱の Provider

Provider が追加する hypit の機能はちょうど 2 つです。それ以外はすべて、引き続き生成系の Skill から得られます。

文字起こしが対応する言語は zh en ja ko vi th id ms fil hi ar fr de es pt ru it nl sv da fi no el pl cs hu ro bg hr sk です。 それ以外の言語のリクエストは、黙って別の経路に回されるのではなく、計画の段階で拒否されます。

文字起こしは内容に対して冪等です：キーは WAV のバイト列、言語、Provider の contract バージョンから求めた SHA-256 なので、同じ入力を再実行すると、クレジットを再び予約することなく元のタスクが返ります — 失敗したタスクも含めてです。費用を払って文字起こしをやり直すのは、新しいキーを伴う意図的な操作であり、自動リトライではありません。

制約

これらはこの Skill 自身の境界であり、Skill はそれを超えた話をしません：

• 参考素材への忠実さは保証されません。 生成されたテイクが参考クリップの動き、声色、リップシンクをどこまで再現するかは、モデル、プロンプト、元素材によって変わり、レンダリングする前には予測できません。結果を確認してください。どの参考動画についても、完全な再現は約束されていません。
• ステム分離は劣化を伴います。 ミックス済みトラックからボーカルや BGM を取り出すと、アーティファクトが残ります。その上に作り込む前に結果を聴いてください。どんなミックスでもきれいに分離できるわけではありません。
• 切り抜きはマットではなく再生成です。 グリーンバック生成の工程ではディテールが描き直されることがあり、出力はソースそのままの寸法ではなく、対応しているフレームサイズのうち最も近いものになります — 実際の寸法をプロジェクトに書き込む前に、出力の本当の寸法を確認してください。緑色のものを身に着けた被写体や、ガラスなど半透明のものは、この経路には適さない入力です。動画のグリーンバック処理は、この機能ではなく ffmpeg を通します。
• 参考音声はそのまま流用されるわけではありません。 元の声で生成を駆動すると、新しい演技が作られます。返ってきたもののセリフ、テンポ、声色を確認してください。
• TTS のセリフは Script と完全に一致している必要があります。 読み上げたテキストと Script のテキストが食い違うと、単語単位のアライメントは失敗します。

この Skill とその Provider は MIT ライセンスです。hypit は独自のライセンスに従う外部依存（hypit-ai/hypit）であり、hypit の CLI、Studio、実行レポート、manifest のブランド表示と著作権表示をそのまま残すこと、および hypit をホスティング型または有料の製品として再配布しないことが求められます。

関連