Help us learn about your current experience with the documentation. Take the survey.
静态对象的外部存储
- Tier: Free, Premium, Ultimate
- Offering: GitLab Self-Managed
配置 GitLab,使其从内容分发网络 (CDN) 等外部存储来提供仓库的静态对象(如归档文件或原始 blob)。
配置外部存储
要为静态对象配置外部存储:
- 在左侧边栏的底部,选择 管理员。
- 选择 设置 > 仓库。
- 展开 仓库静态对象的外部存储。
- 输入基础 URL 和一个任意 token。当您设置外部存储时,请使用一个将这些值设置为
ORIGIN_HOSTNAME和STORAGE_TOKEN的脚本。 - 选择 保存更改。
需要此 token 来区分来自外部存储的请求,以防止用户绕过外部存储直接访问应用程序。GitLab 要求在源自外部存储的请求中,将此 token 设置在 X-Gitlab-External-Storage-Token 请求头中。
提供私有静态对象
对于私有项目的静态对象 URL,GitLab 会附加一个用户特定的 token,以便外部存储可以代表用户进行身份验证。
在处理源自外部存储的请求时,GitLab 会检查以下内容以确认用户可以访问所请求的对象:
token查询参数。X-Gitlab-Static-Object-Token请求头。
请求流程示例
以下示例展示了以下各方之间的请求和响应序列:
- 用户。
- GitLab。
- 内容分发网络 (CDN)。
%%{init: { "fontFamily": "GitLab Sans" }}%%
sequenceDiagram
accTitle: 请求和响应流程
accDescr: 描述了请求和响应如何在用户、GitLab 和 CDN 之间流动。
User->>GitLab: GET /project/-/archive/master.zip
GitLab->>User: 302 Found
Note over User,GitLab: Location: https://cdn.com/project/-/archive/master.zip?token=secure-user-token
User->>CDN: GET /project/-/archive/master.zip?token=secure-user-token
alt 对象未在缓存中
CDN->>GitLab: GET /project/-/archive/master.zip
Note over CDN,GitLab: X-Gitlab-External-Storage-Token: secure-cdn-token<br/>X-Gitlab-Static-Object-Token: secure-user-token
GitLab->>CDN: 200 OK
CDN->>User: master.zip
else 对象在缓存中
CDN->>GitLab: GET /project/-/archive/master.zip
Note over CDN,GitLab: X-Gitlab-External-Storage-Token: secure-cdn-token<br/>X-Gitlab-Static-Object-Token: secure-user-token<br/>If-None-Match: etag-value
GitLab->>CDN: 304 Not Modified
CDN->>User: master.zip
end
设置外部存储
虽然此过程使用 Cloudflare Workers 作为外部存储,但其他 CDN 或函数即服务 (FaaS) 系统也应能使用相同的原理工作。
-
如果您尚未选择,请选择一个 Cloudflare Worker 域。
-
在以下脚本中,为前两个常量设置以下值:
-
ORIGIN_HOSTNAME:您的 GitLab 安装的主机名。 -
STORAGE_TOKEN:任意安全的 token。您可以在 UNIX 机器上运行pwgen -cn1 64来生成一个 token。按照配置部分中的说明,将此 token 保存到 管理员 区域。const ORIGIN_HOSTNAME = 'gitlab.installation.com' // FIXME: SET CORRECT VALUE const STORAGE_TOKEN = 'very-secure-token' // FIXME: SET CORRECT VALUE const CACHE_PRIVATE_OBJECTS = false const CORS_HEADERS = { 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Methods': 'GET, HEAD, OPTIONS', 'Access-Control-Allow-Headers': 'X-Csrf-Token, X-Requested-With', } self.addEventListener('fetch', event => event.respondWith(handle(event))) async function handle(event) { try { let response = await verifyAndHandle(event); // responses returned from cache are immutable, so we recreate them // to set CORS headers response = new Response(response.body, response) response.headers.set('Access-Control-Allow-Origin', '*') return response } catch (e) { return new Response('An error occurred!', {status: e.statusCode || 500}) } } async function verifyAndHandle(event) { if (!validRequest(event.request)) { return new Response(null, {status: 400}) } if (event.request.method === 'OPTIONS') { return handleOptions(event.request) } return handleRequest(event) } function handleOptions(request) { // Make sure the necessary headers are present // for this to be a valid pre-flight request if ( request.headers.get('Origin') !== null && request.headers.get('Access-Control-Request-Method') !== null && request.headers.get('Access-Control-Request-Headers') !== null ) { // Handle CORS pre-flight request return new Response(null, { headers: CORS_HEADERS, }) } else { // Handle standard OPTIONS request return new Response(null, { headers: { Allow: 'GET, HEAD, OPTIONS', }, }) } } async function handleRequest(event) { let cache = caches.default let url = new URL(event.request.url) let static_object_token = url.searchParams.get('token') let headers = new Headers(event.request.headers) url.host = ORIGIN_HOSTNAME url = normalizeQuery(url) headers.set('X-Gitlab-External-Storage-Token', STORAGE_TOKEN) if (static_object_token !== null) { headers.set('X-Gitlab-Static-Object-Token', static_object_token) } let request = new Request(url, { headers: headers }) let cached_response = await cache.match(request) let is_conditional_header_set = headers.has('If-None-Match') if (cached_response) { return cached_response } // We don't want to override If-None-Match that is set on the original request if (cached_response && !is_conditional_header_set) { headers.set('If-None-Match', cached_response.headers.get('ETag')) } let response = await fetch(request, { headers: headers, redirect: 'manual' }) if (response.status == 304) { if (is_conditional_header_set) { return response } else { return cached_response } } else if (response.ok) { response = new Response(response.body, response) // cache.put will never cache any response with a Set-Cookie header response.headers.delete('Set-Cookie') if (CACHE_PRIVATE_OBJECTS) { response.headers.delete('Cache-Control') } event.waitUntil(cache.put(request, response.clone())) } return response } function normalizeQuery(url) { let searchParams = url.searchParams url = new URL(url.toString().split('?')[0]) if (url.pathname.includes('/raw/')) { let inline = searchParams.get('inline') if (inline == 'false' || inline == 'true') { url.searchParams.set('inline', inline) } } else if (url.pathname.includes('/-/archive/')) { let append_sha = searchParams.get('append_sha') let path = searchParams.get('path') if (append_sha == 'false' || append_sha == 'true') { url.searchParams.set('append_sha', append_sha) } if (path) { url.searchParams.set('path', path) } } return url } function validRequest(request) { let url = new URL(request.url) let path = url.pathname if (/^(.+)(\/raw\/|\/-\/archive\/)/.test(path)) { return true } return false }
-
-
使用此脚本创建一个新的 worker。
-
复制您的
ORIGIN_HOSTNAME和STORAGE_TOKEN值。 使用这些值来为静态对象配置外部存储。