ローカル推論、使い慣れたワークフロー。
Orca はローカル サーバーに接続します。モデルのインストールやダウンロード、推論のバンドル、Ollama および LM Studio プロセスの管理は行いません。接続する前にサーバーを起動し、モデルをロードします。
- Orca の設定を開き、Ollama、LM Studio、または Local OpenAI-compatible を選択します。
- エンドポイントを確認するか、モデル リストを更新するか、モデル ID を手動で入力します。
- チャットを開始します。サーバーが API キーを必要としない場合は、API キーは必要ありません。
まずはチャット。エージェントツールを選択可能。
ローカルおよび編集可能なプロフィールはチャット モードで始まります。分離された 2 ステップの関数呼び出しプローブは、正確なプロバイダー、起点、エンドポイント、モデル、推論構成、およびプローブのバージョンを渡す必要があります。次に、そのバインディングに対してエージェント ツールを明示的に有効にする必要があります。
プローブには、プロジェクト ファイル、エディター コンテキスト、指示、スキル、タスク リスト、会話履歴、実際の Orca ツール スキーマは含まれません。プローブが通過すると、実際のプロジェクトでの信頼できる計画やツールの使用ではなく、1 つの狭いプロトコル交換が確認されます。
テストされた qwen2.5-coder:3b モデルと llama-3.2-3b-instruct モデルはチャットでは機能しましたが、Orca の厳密なエージェント プローブには合格しませんでした。より有能なツール使用モデルが必要になる場合があります。
画像のサポートはモデルに従います。
イメージ機能は、選択したモデルおよびエンドポイントに対してサポートされているか、サポートされていないか、または不明として追跡されます。これはエージェント ツールの互換性とは無関係です。ツール プローブが成功してもビジョン サポートは確立されず、画像入力によってエージェント ツールが有効になることもありません。
未知の機能を持つカスタムおよびローカル プロファイルでは、正確なエンドポイントとモデルのプロバイダー設定で未確認の画像入力を明示的に有効にすることができます。サポートされていないプロファイルでは、添付ファイル コントロールが淡色表示になり、クリックできなくなります。機能メタデータと明示的なオーバーライドは、ライブモデルのビジョン品質を確立しません。
DeepSeek の正規エンドポイントでは、現在の Flash はビジョンをサポートしています。 Pro と従来の Chat/Reasoner はテキストのみのフォールバックを使用します。イメージのサポートは、プロバイダー全体の約束ではなく、モデル固有です。
リクエストがどこに送信されるかを把握します。
Orca は、画像対応プロファイルのマルチモーダル リクエストでストリーミングされたチャット完了トランスポートを使用します。ツールから返されるプロンプト、添付画像、関連するエディター コンテキスト、およびプロジェクト コンテンツは、選択したプロバイダーに送信される場合があります。ローカル エンドポイントは引き続きデータを他の場所に転送できます。 Orca は、リクエストを受信した後にサーバーが何を行うかを確認できません。
カスタム互換プロバイダーは、不完全なモデルまたは機能のメタデータを公開する可能性があります。エンドポイントを構成する前に、安全性とプライバシーの概要を参照してください。