智芯华玺系列AI一体机
基于高性能处理器和通用GPU算力卡打造，为客户提供高度集成、灵活扩展、支持通用计算、支持预部署的安全大模型AI一体机。
一站式AI
- 开箱即用，私有部署，软硬件一体
- 预部署DeepSeek等主流大模型
- 兼容各类主流AI算力，支持英伟达、沐曦、燧原、天数智芯、海光等各类GPU算力卡
- 支持各类主流大模型推理框架和各类AI应用
技术规格
一体机规格
| CPU | 64核心高性能处理器 |
| 内存 | 256GB DDR4/DDR5内存 |
| 硬盘 | 1TB NVMe SSD系统盘 + 可选大容量存储 |
| GPU选项 | RTX 4090D×4 / RTX 4090×4 / 升腾910B×2 / A100×2 |
| 网络接口 | 双万兆以太网接口 |
| 电源 | 冗余电源设计，支持热插拔 |
预部署大模型
语言模型
- DeepSeek-R1-Distill-Llama-70B
- DeepSeek-R1-Distill-Qwen-32B
- ChatGLM3-6B
- Baichuan2-13B
多模态模型
- CLIP
- DALL-E
- Stable Diffusion
- LLaVA
推理框架
- vLLM
- TensorRT-LLM
- Transformers
- FastChat
大模型性能
| 模型 | 输入输出 | 并发1路 | 并发8路 | 并发20路 | |||
|---|---|---|---|---|---|---|---|
| TTFT | TPOT | TTFT | TPOT | TTFT | TPOT | ||
| DeepSeek-R1-Distill-Llama-70B-AWQ (INT4) | 上文 2K 下文 2K |
3.95 | 0.02 | 18.41 | 0.05 | 42.68 | 0.09 |
| 上文 16K 下文 1K |
32.64 | 0.11 | 146.8 | 0.25 | 436.17 | 0.25 | |
| 上文 2K 下文 16K |
3.96 | 0.08 | 18.4 | 0.09 | 42.69 | 0.16 | |
| DeepSeek-R1-Distill-Qwen-32B-AWQ (INT4) | 上文 2K 下文 2K |
1.99 | 0.02 | 9.57 | 0.03 | 21.41 | 0.05 |
| 上文 16K 下文 1K |
16.11 | 0.09 | 73.88 | 0.14 | 198.19 | 0.22 | |
| 上文 2K 下文 16K |
1.98 | 0.06 | 9.35 | 0.07 | 21.43 | 0.09 | |
| DeepSeek-R1-Distill-Qwen-32B (BF16) | 上文 2K 下文 2K |
2.01 | 0.03 | 15.68 | 0.04 | 28.72 | 0.07 |
| 上文 16K 下文 1K |
16.12 | 0.09 | 155.91 | 0.11 | 445.86 | 0.10 | |
| 上文 2K 下文 16K |
2.01 | 0.07 | 13.81 | 0.11 | 27.54 | 0.22 | |
* TTFT: Time To First Token (首Token时间), TPOT: Time Per Output Token (单Token时间)
软件特性
| 操作系统 | Ubuntu 20.04+ LTS / CentOS 8+ / 国产化操作系统 |
| 容器支持 | Docker / Kubernetes / Singularity |
| AI框架 | PyTorch / TensorFlow / PaddlePaddle / MindSpore |
| 开发环境 | Jupyter Lab / VSCode Server / SSH远程开发 |
| API接口 | OpenAI兼容API / RESTful API / gRPC |
| 监控管理 | Web管理界面 / 性能监控 / 资源调度 |