Help us learn about your current experience with the documentation. Take the survey.

配置 GitLab 以访问 GitLab Duo 自托管

  • Tier: Premium, Ultimate
  • Add-on: GitLab Duo Enterprise
  • Offering: GitLab Self-Managed

前提条件：

要配置您的 GitLab 实例以访问您基础设施中可用的自托管模型：

  1. 确认完全自托管配置是否适合您的用例。
  2. 配置您的 GitLab 实例以访问 AI 网关。
  3. 配置自托管模型。
  4. 配置 GitLab Duo 功能以使用您的自托管模型。

配置您的 GitLab 实例以访问 AI 网关

  1. 在左侧边栏的底部，选择 管理员。
  2. 选择 GitLab Duo。
  3. 选择 更改配置。
  4. 在 本地 AI 网关 URL 下，输入您的 AI 网关 URL。
  5. 选择 保存更改。

如果您的 AI 网关 URL 指向本地网络或私有 IP 地址（例如，172.31.x.x 或类似 ip-172-xx-xx-xx.region.compute.internal 的内部主机名），GitLab 可能会出于安全原因阻止该请求。要允许向此地址发出请求，请将该地址添加到 IP 允许列表。

配置自托管模型

前提条件：

  • 您必须是管理员。
  • 您必须拥有 Premium 或 Ultimate 许可证。
  • 您必须拥有 GitLab Duo Enterprise 许可证附加组件。

要配置自托管模型：

  1. 在左侧边栏的底部，选择 管理员。

  2. 选择 GitLab Duo。

  3. 选择 配置 GitLab Duo 自托管。

    • 如果 配置 GitLab Duo 自托管 按钮不可用，请在购买后同步您的订阅：
      1. 在左侧边栏中，选择 订阅。
      2. 在 订阅详情 中，上次同步 的右侧，选择 同步订阅 ( retry )。

  4. 选择 添加自托管模型。

  5. 填写字段：

    • 部署名称：输入一个名称以唯一标识模型部署，例如，GCP 上的 Mixtral-8x7B-it-v0.1。

    • 模型系列：选择部署所属的模型系列。此列表中仅包含 GitLab 支持的模型。

    • 终端节点：输入托管模型的 URL。

      • 有关为通过 vLLM 部署的模型配置终端节点的更多信息，请参阅 vLLM 文档。

    • API 密钥：可选。如果访问模型需要 API 密钥，请添加一个。

    • 模型标识符：这是必填字段。此字段的值取决于您的部署方法，并应符合以下结构：

      部署方法 格式 示例
      vLLM custom_openai/<通过 vLLM 提供服务的模型名称> custom_openai/Mixtral-8x7B-Instruct-v0.1
      Bedrock bedrock/<模型的模型 ID> bedrock/mistral.mixtral-8x7b-instruct-v0:1
      Azure OpenAI azure/<模型的模型 ID> azure/gpt-35-turbo

      • 对于 Amazon Bedrock 模型：

        1. 设置您的 AWS_REGION 并确保您在 AI 网关 Docker 配置中有权访问该区域的模型。
        2. 为跨区域推理，将适当的区域前缀添加到模型的推理配置文件 ID。
        3. 在 模型标识符 字段中输入区域前缀和模型推理配置文件 ID，并带有 bedrock/ 前缀。

        例如，对于东京区域的 Anthropic Claude 3.5 v2 模型：

        • AWS_REGION 为 ap-northeast-1。
        • 跨区域推理前缀为 apac.。
        • 模型标识符为 bedrock/apac.anthropic.claude-3-5-sonnet-20241022-v2:0

  6. 选择 创建自托管模型。

有关以下内容的更多信息：

配置自托管 beta 模型和功能

前提条件：

  • 您必须是管理员。
  • 您必须拥有 Premium 或 Ultimate 许可证。
  • 您必须拥有 GitLab Duo Enterprise 许可证附加组件。

要启用自托管 beta 模型和功能：

  1. 在左侧边栏的底部，选择 管理员。
  2. 选择 GitLab Duo。
  3. 选择 更改配置。
  4. 在 自托管 beta 模型和功能 下，选中 在 GitLab Duo 自托管中使用 beta 模型和功能 复选框。
  5. 选择 保存更改。

开启自托管 beta 模型和功能即表示您同意 GitLab 测试协议。

更多信息，请参阅正在评估中的可用 beta 模型列表。

配置 GitLab Duo 功能以使用自托管模型

前提条件：

  • 您必须是管理员。
  • 您必须拥有 Premium 或 Ultimate 许可证。
  • 您必须拥有 GitLab Duo Enterprise 许可证附加组件。

查看已配置的功能

  1. 在左侧边栏的底部，选择 管理员。
  2. 选择 GitLab Duo。
  3. 选择 配置 GitLab Duo 自托管。
    • 如果 配置 GitLab Duo 自托管 按钮不可用，请在购买后同步您的订阅：
      1. 在左侧边栏中，选择 订阅。
      2. 在 订阅详情 中，上次同步 的右侧，选择 同步订阅 ( retry )。
  4. 选择 AI 原生功能 标签页。

配置功能以使用自托管模型

配置 GitLab Duo 功能和子功能，以将查询发送到已配置的自托管模型：

  1. 在左侧边栏的底部，选择 管理员。
  2. 选择 GitLab Duo。
  3. 选择 配置 GitLab Duo 自托管。
  4. 选择 AI 原生功能 标签页。
  5. 对于您要配置的功能和子功能，从下拉列表中选择您要使用的自托管模型。

例如，对于 GitLab Duo 代码建议下的代码生成子功能，您可以选择 Bedrock 部署上的 Claude-3 (Claude 3)。

GitLab Duo 自托管功能配置

GitLab Duo Chat 子功能回退配置

配置 GitLab Duo Chat 子功能时，如果您没有为某个子功能选择特定的自托管模型，该子功能会自动回退到使用为 通用聊天 配置的自托管模型。这确保了即使您没有为每个子功能明确配置其自己的自托管模型，所有聊天功能也能正常工作。

自托管 GitLab 文档

如果您的 GitLab Duo 自托管设置阻止您访问 docs.gitlab.com 上的 GitLab 文档，您可以选择自托管该文档。更多信息，请参阅如何托管 GitLab 产品文档。

禁用 GitLab Duo 功能

要禁用某个功能，您必须在配置功能或子功能时明确选择 已禁用。

要禁用 GitLab Duo 功能或子功能：

  1. 在左侧边栏的底部，选择 管理员。
  2. 选择 GitLab Duo。
  3. 选择 配置 GitLab Duo 自托管。
  4. 选择 AI 原生功能 标签页。
  5. 对于您要禁用的功能或子功能，从下拉列表中选择 已禁用。

例如，要专门禁用 编写测试 和 重构代码 功能，请选择 已禁用：

禁用 GitLab Duo 功能