本地推理,熟悉的工作流程。
Orca 连接到您的本地服务器;它不安装或下载模型、捆绑推理或管理 Ollama 和 LM Studio 进程。连接之前启动服务器并加载模型。
- 打开Orca的设置并选择Ollama、LM Studio或Local OpenAI-compatible。
- 确认端点、刷新模型列表或手动输入模型 ID。
- 开始聊天。如果您的服务器不需要 API 密钥,则不需要该密钥。
先聊聊。代理工具可供选择。
本地和可编辑的个人资料以聊天模式开始。隔离的两步函数调用探测必须传递确切的提供者、源、端点、模型、推理配置和探测版本。然后,您必须为该绑定显式启用代理工具。
探针不包含项目文件、编辑器上下文、说明、技能、任务列表、对话历史记录或真实的 Orca 工具架构。通过的探针确认了一种狭窄的协议交换——在实际项目中并不可靠的规划或工具使用。
测试的 qwen2.5-coder:3b 和 llama-3.2-3b-instruct 模型适用于 Chat,但未通过 Orca 的严格代理探测。可能需要更强大的工具使用模型。
图像支持遵循模型。
对于所选模型和端点,图像功能将被跟踪为支持、不支持或未知。它与代理工具兼容性无关:成功的工具探测不会建立视觉支持,并且图像输入不会启用代理工具。
具有未知功能的自定义和本地配置文件可以在提供程序设置中为确切的端点和模型显式启用未经确认的图像输入。不受支持的配置文件会使附件控件呈灰色且不可单击。能力元数据和显式覆盖不会建立实时模型视觉质量。
在DeepSeek的规范端点上,当前的Flash支持视觉; Pro 和旧版 Chat/Reasoner 使用纯文本后备。图像支持是特定于模型的,而不是提供商范围内的承诺。
知道您的请求去了哪里。
Orca 使用流式聊天完成传输以及对支持图像的配置文件的多模式请求。工具返回的提示、附加图像、相关编辑器上下文和项目内容可能会发送给您选择的提供商。本地端点仍然可以将数据转发到其他地方; Orca 无法验证服务器在收到请求后做了什么。
自定义兼容提供程序可能会公开不完整的模型或功能元数据。配置端点之前,请参阅安全和隐私概述。