让你的 AI Agent 连接 LiteLLM

选择模型、起草回复或生成文本向量,同时查询当前密钥可用的模型与额度。

6 个工具 API key

试试这些 LiteLLM 任务

将提示词复制到已安装 oo Skill 的 Agent,补充页面链接和原始笔记后执行。

oo Skill LiteLLM

起草并比较回复

让可用模型整理笔记或起草回复。

/oo LiteLLM: 查询可用模型,然后用 [模型] 总结以下笔记并起草客户回复:[笔记]。

生成文本向量

为文本比较或后续检索流程生成向量。

/oo LiteLLM: 使用 [向量模型] 为这些段落生成向量:[文本]。

查询模型限制与消费

比较模型能力与价格,再查看密钥剩余预算。

/oo LiteLLM: 列出聊天模型的上下文限制和价格,再报告当前密钥的消费与剩余预算。

开始使用 LiteLLM

  1. 安装 OOMOL

    在 Agent 中配置 oo CLI 和 oo Skill。

    安装 OOMOL →
  2. 连接 LiteLLM

    使用 LiteLLM 密钥连接公开可访问的网关。

    连接 LiteLLM →
  3. 向 Agent 交代任务

    使用 /oo,说明要读取的页面、修改的内容和保存位置。

    连接指南 →

选择你的 Agent

  • 公开可访问的 LiteLLM 网关地址。
  • 网关管理员提供的虚拟密钥或主密钥。
  • 推理使用网关配置的上游模型账户;此集成不支持流式输出或私网网关。
  • 查询密钥预算需要虚拟密钥;权限取决于网关配置。

LiteLLM 工具

连接 LiteLLM 网关,调用聊天和消息模型、生成向量、比较模型能力与价格,并查看密钥消费。

生成内容与向量

调用聊天、消息和向量模型。

查询模型与预算

读取模型名称、能力、价格及虚拟密钥消费。

6 个工具

Create Chat Completion

通过 LiteLLM 兼容 OpenAI 的 /v1/chat/completions 接口生成回复,沿用网关的路由、负载均衡、回退及预算检查。

litellm.create_chat_completion

Create Message

通过 LiteLLM /v1/messages 接口向网关支持的模型发送 Anthropic 格式消息。

litellm.create_message

Create Embedding

通过 LiteLLM 兼容 OpenAI 的 /v1/embeddings 接口生成向量。

litellm.create_embedding

List Models

列出此 LiteLLM 密钥可调用的模型名称。

litellm.list_models

Get Model Info

读取模型部署的上下文窗口、输出限制、单 token 价格与能力,供调用前选择模型。

litellm.get_model_info

Get Key Info

读取连接所用虚拟密钥的消费、剩余预算、速率限制和可用模型。主密钥没有存储记录,此操作需要虚拟密钥。

litellm.get_key_info

常见问题

可以使用主密钥吗?

可用于推理与模型查询。查看密钥的预算记录需要虚拟密钥。

连接 LiteLLM

关于 LiteLLM ↗