メインコンテンツまでスキップ

AIエージェント(WebMCP)

SuperSplat Editorは、ブラウザのWebMCP APIに一連のツールを登録します。そのため、WebMCPを利用できるAIエージェントは、開いているEditorタブのシーンを確認・編集できます。エージェントはあなたが見ているのと同じシーンで作業します。スプラット、選択範囲、元に戻す履歴を共有するため、エージェントによる編集をその場で確認でき、自分の編集と同じように元に戻せます。

実験的な機能

WebMCPは実験的なブラウザAPIです。ブラウザがこのAPIを公開しているかどうかや、エージェントがどのように接続するかは、ブラウザとそのバージョンによって異なります。WebMCPに対応していないブラウザでも、Editorは通常どおり動作し、ツールは登録されません。

要件​

  • WebMCPに対応したブラウザ(実験的なWebMCP機能を有効にしたChromeなど)と、WebGPU(Editorには常に必要です)。
  • ページがWebMCPを通じて登録したツールを検出して呼び出せるエージェントまたはブラウザ統合。
  • タブで開いたEditor。実行するサーバーやネットワークリスナーはありません。ツールはページ内にあり、そのタブに対してのみ動作します。

ツールのタイトルは、Editorのインターフェース言語に従います。

ツール​

ツールは、Scene Managerのスプラットをレイヤーとして扱い、get_sceneが返す数値IDで識別します。各ツールは、引数、範囲、デフォルト値をエージェントに説明します。

領域ツール内容
確認get_scene、get_layer、get_histogramシーン、レイヤー、ガウシアン数、境界、プロパティ、カメラ、履歴を読み取ります。get_histogramは、Splat Dataパネルと同じプロパティの分布を、件数、平均、パーセンタイルとともに読み取ります。
選択set_selection、select_region、select_rectangle、select_propertyすべて選択、選択解除、選択の反転を行うほか、ボックス、球、楕円体の内側または外側を選択したり、ビューポートの矩形内を(すべての深度を貫通して、または可視サーフェスだけ)選択したり、プロパティの値の範囲を選択したりします。領域やプロパティによる選択では、一致するガウシアンの数と境界を先にプレビューできます。
編集delete_selection、hide_selection、restore_splats、duplicate_selection、separate_selection選択したガウシアンを削除またはロックし(hide_selectionはLock Selectionに相当します)、ロックまたは削除したガウシアンを復元し、選択範囲を新しいレイヤーに複製または分離します。
レイヤー、変形、色update_layer、transform、apply_color、reset_colorレイヤーの名前変更、表示、非表示、アクティブ化を行い、選択範囲またはレイヤーを移動、回転、拡大縮小し、カラーグレードを適用またはリセットします。
履歴undo、redoEditorの共有された編集履歴を前後に移動します。
カメラと表示set_camera、focus_camera、pick_points、render_view、set_viewカメラの配置やフレーミング、ビューポート上の点の下にあるワールド座標の取得、エージェントが確認するための画像のレンダリング、そして背景、グリッド、トーンマッピング、SHバンド、モードストリップのスイッチなどの表示設定の変更を行います。
タイムラインget_timeline、set_timeline、set_keyframes、move_keyframe、delete_keyframesTimelineの長さ、フレームレート、再生ヘッド、再生、スムーズネス、ループを読み取りまたは設定し、カメラのキーフレームを追加、置換、移動、コピー、削除します。
コンテンツの作成create_from_generator、instance_layerSplatTransformのジェネレータースクリプトから新しいレイヤーを作成するか、ガウシアンデータを共有するレイヤーのコピーを最大128個配置します。
ファイルimport_url、export_scenePLY、SPLAT、SOG、SPZ、KSPLATファイルをURLから新しいレイヤーとしてインポートするか、PLY、圧縮PLY、SPLAT、SOG、SPZ、またはスタンドアロンのHTMLビューアやZIPビューアとしてエクスポートをダウンロードします。

エージェントによる編集の動作​

  • 共有された履歴: 成功した編集はそれぞれ、あなた自身の編集と並んで、Editorの元に戻す履歴の1項目になります。エージェントのundoとredoは同じ履歴をたどるため、あなたが行った操作を元に戻すこともあります。
  • 明示的な対象: エージェントはすべての編集で対象のレイヤーを指定します。レイヤーを指定しても、そのレイヤーがアクティブスプラットになることはありません。変形とカラーグレードでは、選択範囲とレイヤー全体のどちらに適用するかを指定する必要があります。選択範囲が空の場合は、レイヤー全体に適用されるのではなくエラーになります。
  • セッション設定: カメラの移動、タイムラインの設定、表示設定、レイヤーの表示状態、アクティブレイヤーの変更では、元に戻す履歴の項目は作成されません。レイヤーの名前変更とカメラのキーフレームの編集では作成されます。
  • 現在のビューのみ: 矩形選択と点のピックはビューポート座標で動作するため、エージェントが直近にビューを確認したときのトークンが必要です。その間にカメラを動かしたりウィンドウのサイズを変更したりすると、古い座標で選択する代わりに呼び出しが失敗し、エージェントはもう一度ビューを確認する必要があります。
  • 作業の確認: render_viewは、あなたのビューを動かさずに任意のカメラポーズから画像をレンダリングします。通常の画像のほかに、選択範囲、不透明度などのプロパティのヒートマップ、レイヤーごとの色分け、サーフェス形状だけのシンプルなシェーディングを、1枚の画像で最大4つのアングルから表示できます。タイムラインの再生中や、タブがバックグラウンドにあって5秒以内にフレームが描画されない場合は失敗します。

安全性と制限​

  • Editorで任意のJavaScriptを実行するツールはありません。create_from_generatorは、エージェントのジェネレータースクリプトを、Editorページ、そのストレージ、あなたのファイルにアクセスできず、ネットワークにもアクセスできないサンドボックスで実行します。ジェネレーターは10秒以内に完了し、生成するガウシアンは最大2,000,000個でなければなりません。
  • import_urlは、認証情報が埋め込まれていないHTTPまたはHTTPSのURLのうち、クロスオリジンアクセスを許可しているサーバーのものを受け付けます。複数の詳細レベルを持つファイルは、Load Optionsダイアログを表示せずに、推奨レベルまたはエージェントが指定したレベルで読み込まれます。
  • export_sceneはブラウザにファイルのダウンロードを要求し、保存先はブラウザのダウンロード設定で決まります。エージェントがほかのローカルパスに書き込むことはできません。
  • エージェントは、プロジェクトの置き換えや保存、superspl.atへの公開、画像やビデオのファイルへのレンダリング、ローカルのファイル選択ダイアログの表示を行えません。

完全なリファレンス​

ツールの引数、結果の形式、エラーコード、作業例(領域のプレビューとクロップ、ヒストグラムを使ったかすかなフローターの検出、カメラワークの作成など)は、EditorのGitHubリポジトリにあるWebMCPに記載されています。