关于 CSGHub

大模型百花齐放的时代，数据和模型已成为企业和个人用户最核心的数字资产。然而，当前面临的挑战是模型文件和数据集的管理工具分散、管理手段单机化碎片化等问题。这些问题不仅带来了安全运营的巨大风险，也成为企业大模型能力更新迭代的阻力。

如果您像我们一样坚信大模型将成为信息革命的最重要推动力，您可能也会思考如何更高效、更安全、更可靠地管理大模型的核心资产：模型、数据以及代码。正是出于对这一挑战的深刻认知，我们推出了 CSGHub —— 一个旨在解决大模型相关资产治理难题的开源项目。

CSGHub 的使命是为用户提供一个开源开放的、针对大模型原生设计的资产管理平台，支持私有化部署和离线运行。我们的目标是为用户创造一个安全、高效且可信赖的环境，使其能够更好地管理和运用大模型核心资产数据。

CSGHub 实现了类似私有化 Huggingface 的功能，以类比 OpenStack Glance 管理虚拟机镜像、Harbor 管理容器镜像以及 Sonatype Nexus 管理制品的方式，以开源软件的方式实现对 LLM 资产的安全、高效管理。

CSGHub 官网：https://portal.opencsg.com/

CSGHub 源码：https://github.com/OpenCSGs/csghub （欢迎 Star?）

CSGHub 帮助用户治理 LLM 及 LLM 应用生命周期

CSGHub 是一个开源、可信的大模型资产管理平台，帮助用户治理 LLM 和 LLM 应用生命周期中涉及到的资产（数据集、模型文件、代码等）。

1. 基于 CSGHub，用户可以通过 Web 界面、Git 命令行或者自然语言 Chatbot 等方式，实现对模型文件、数据集、代码等资产的操作，包括上传、下载、存储、校验和分发；

2. 同时平台提供微服务子模块和标准化 API，便于用户与自有系统集成。

CSGHub 具有以下功能特性：

• 资产统一管理： 一站式 Hub 统一管理模型文件、数据集、大模型应用代码。

• 研发生态兼容： 同时支持 HTTPS 和 SSH 协议的 Git 命令和 Web 界面操作， 确保不同用户均可方便使用。

• 大模型能力扩展：原生支持版本化管理、模型格式转化、数据自动预处理、数据集预览等功能。

• 权限与安全： 支持与企业用户系统集成、支持资产可见范围设置、外部内部零信任的鉴权接口设计， 最大化满足企业安全。

• 私有化部署支持： 无互联网依赖、无云厂商依赖等外部依赖，可一键启动私有化部署。

• 大模型原生设计： 支持自然语言交互、支持模型一键微调与部署、支持 Agent 与 Copilot 应用。

关于 CSGHub 技术架构

在技术架构上，CSGHub 是一个综合了先进技术的资产管理平台，具有以下技术特点：

• CSGHub 整合了开源 Git Server、Git LFS 大文件存储协议和对象存储 OSS 等技术，提供可靠的数据存储层、灵活的基础设施接入层和高兼容的研发工具支持。

• 通过服务化的架构， CSGHub 提供 CSGHub Server 后台服务和 CSGHub Web Service 的管理界面，普通用户可以快速使用 Docker compose 或 Kubernetes Helm Chart 启动服务，实现生产级的资产管理。具备自研能力的用户可利用 CSGHub Server 进行二次开发，将核心管理功能集成到外部系统或自定义高级功能。

• CSGHub 借助 Apache Arrow 和 DuckDB 等优秀开源项目，支持 Parquet 数据文件格式的预览，便于算法研究人员和爱好者进行本地化数据集管理。

• CSGHub 提供直观的 Web 界面和面向企业组织架构的权限设计，用户可通过 Web UI 实现版本控制管理、在线浏览和下载，也可以设置数据集和模型文件的可见范围，实现数据安全隔离，还可以对模型和数据集发起用户讨论话题。

我们持续更新

我们致力于将 CSGHub 打造为一个高效、易用的大模型资产管理平台，未来我们将继续实现以下技术 / 功能点：

• 资产管理

• 多源同步: 支持配置并启用远端仓库 , 自动数据同步，支持 OpenCSG 传神社区、Huggingface 等远端源。

• 代码仓库：内置代码 Repo 管理功能，可关联模型、数据集、Space 空间应用的代码。

• AI 能力增强

• 一键微调: 支持与 OpenCSG llm-finetune 集成，一键启动模型微调训练。

• 一键推理: 支持与 OpenCSG llm-inference 集成，一键启动模型推理服务。

• 应用与企业功能

• 应用空间: 支持托管 Gradio/Streamlit 应用并发布到 Space 应用空间

• 细粒度权限：面向企业架构的细粒度权限和访问控制设置

• 安全合规

• 资产元数据: 资产的元数据管理机制，支持自定义元数据类型和对应的 AutoTag 规则。

• 合规验证: 模型和 License 的合规性校验与溯源验证

选择 CSGHub 开源项目

• 开源许可证友好、可商用，Apache2。

• 开放式合作：我们欢迎大家加入我们开源项目的建设，贡献自己的想法、建议或代码。

• 持续更新与改进：我们承诺不断更新 CSGHub，并积极采纳社区反馈，不断改进项目。

• 传统 DevOps 快速适配最佳选择，通过原生大模型项目与传统 DevOps 工具结合和集成。

• 无论您是开发者、数据科学家，还是热衷于这个领域的爱好者，您都可以参与其中：

• 贡献代码：浏览我们的 GitHub 仓库，提交您的代码或修复 bug。

• 提供反馈：提交问题或建议，帮助我们改进和发展项目。

• 分享经验：在社交媒体上分享您使用 CSGHub 的经验和见解。

共建 共享 开源

在 CSGHub 中， C 代表 Converged，我们将利用混合云的优势，算力降本增效，充分释放混合云的算力及存储资源；S 代表 Software refined，我们将利用自然语言技术，发掘 LLM 的潜力，重新定义软件的交付方式。通过大模型编程，人力降本增效；G 代表 Generative，我们将致力于大模型的民主化和大众化，让大模型更易于访问、更廉价、更容易定制，更适合垂直行业使用。

CSGHub 是一个刚刚起步的项目，我们相信它将在解决大模型资产管理方面能够发挥积极作用。OpenCSG 旨在成为中国开源领域和软件开发领域的新变革者，推出的首个大模型原生托管平台，这一举措标志着中国大模型开源社区发展已经迈入新的里程碑。加入我们的社区，共同创造更美好的未来！