新聞資訊

News

首頁(yè)

所有分類(lèi)

云計(jì)算

存儲(chǔ)

寶德服務(wù)器用DeepSeek做推理需要確定如下三點(diǎn)

發(fā)布時(shí)間： 2025/02/21

寶德服務(wù)器用DeepSeek做推理需要確定如下三點(diǎn)：
1、使用多大參數(shù)模型；
2、最終應(yīng)用跑多少路并發(fā)；
3、對(duì)量化位數(shù)要求是8位官方版、16位、4位、動(dòng)態(tài)量化。
備注：以下推薦配置均為單路并發(fā)，多路并發(fā)按客戶(hù)要求做調(diào)整。

	適用模型，建議配置	型號(hào)	詳細(xì)配置
1	支持671b推理	H20服務(wù)器
			cpu	2*Intel 8558/2.1GHz/260M/48C/96T/330W/5600MHz
			內(nèi)存	32*64GB/DDR5/4400或4800MHz/ECC/REG
			SSD	2*SSD/960GB/SATA 6Gb/2.5寸/讀取型 <1DWPD
			SSD	2*SSD/7.68TB/2.5寸/U.2/NVME/PCIE4.0/讀取型
			顯卡	1*HGX H20 141 GB 8-GPU
			以太網(wǎng)絡(luò)	1 X 以太網(wǎng)卡 Mellanox CX-5 EN 25GbE 雙口SFP28 PCIe3.0 x8 MCX512A-ACAT
2	支持70b-llama推理	PR4904W1 大模型推理	全新一代AI服務(wù)器PR4904E是公司新推出的一款4U雙路機(jī)塔互換式加速計(jì)算服務(wù)器。采用Intel C741高性能芯片組，支持第四代英特爾®至強(qiáng)®可擴(kuò)展處理器；該機(jī)型擁有16個(gè)DDR5 4800MHz DIMMs插槽；支持8塊3.5英寸熱插拔NVME/SAS/SATA硬盤(pán)；擁有4個(gè)全高全長(zhǎng)雙寬的PCIe 5.0 GPU插槽，并另提供3個(gè)PCIe 4.0 x16插槽；板載集成2個(gè)萬(wàn)兆網(wǎng)絡(luò)接口，支持多種不同網(wǎng)絡(luò)選擇：以太網(wǎng)、InfiniBand，OPA；可實(shí)現(xiàn)高速性能和I/O靈活性，滿(mǎn)足不同應(yīng)用程序的互聯(lián)需求；板載集成BMC；支持IPMI 2.0遠(yuǎn)程管理；默認(rèn)支持2600W 1+1鈦金冗余電源。
			CPU	2 X Intel Xeon 5318Y
			內(nèi)存	16 X 32GB/
			SSD	2 X SSD/960GB/SATA 6Gb/2.5寸/讀取型 <1DWPD
			SSD	2 X SSD/3.84TB/2.5寸/
			其它配件	1 X 導(dǎo)軌 PR4904P&4904W 4U機(jī)塔互換機(jī)箱導(dǎo)軌
			GPU	2 X L20/L40/L40s
			配件	散熱套件
			電源	2700W 1+1
			IB網(wǎng)卡	1 X 以太網(wǎng)卡 Mellanox CX-5 Lx EN 25GbE 雙口SFP28 PCIe3.0 x8 MCX512A-ACAT
5	支持32b qw2推理	PT6630W3	PT6630W3是公司最新推出的一款高端塔式單路工作站產(chǎn)品，它采用Intel W790高性能芯片組，支持Intel至強(qiáng)W-2400/W-3400系列處理器，該機(jī)型最多支持內(nèi)存容量4TB，標(biāo)配支持8個(gè)3.5寸非熱插拔SATA硬盤(pán)，可靈活擴(kuò)展全高的PCI-E設(shè)備。高集成度的設(shè)計(jì)在有限空間內(nèi)帶來(lái)強(qiáng)勁的性能表現(xiàn)足以支撐關(guān)鍵任務(wù)的運(yùn)行，滿(mǎn)足流媒體應(yīng)用的需要，滿(mǎn)足客戶(hù)的各種定制化需求。PT6630W3提供先進(jìn)的管理功能和存儲(chǔ)技術(shù)，具有可靠的可擴(kuò)充性和高可用性。板載集成1個(gè)千兆電口和1個(gè)萬(wàn)兆電口。標(biāo)配1000W塔式單電源。
			CPU	1 X INTEL Xeon W3-2423/2.1GHZ/6C/12T7110W/PK8071305129200
			內(nèi)存	2 X 64GB/DDR5/4800或5600MHz/ECC/REG
			SSD	1 X SSD/1TB/M.2/2280/NVMe/PCIex4/消費(fèi)級(jí)SSD
			GPU	2 X 4090/4090D
4	支持14b qw2推理	PT6610A風(fēng)冷	PT6610A是公司最新推出的一款塔式單路工作站產(chǎn)品，它采用Intel W680高速芯片組組，支持Intel 酷睿12代/13代系列處理器，該機(jī)型最多支持DDR5內(nèi)存容量128GB，單一最大32GB，支持8個(gè)3.5寸非熱插拔SATA硬盤(pán)，可選支持熱插拔模組，并可靈活擴(kuò)展全高/全長(zhǎng)的PCI-E設(shè)備。高集成度的設(shè)計(jì)在有限空間內(nèi)帶來(lái)強(qiáng)勁的性能表現(xiàn)足以支撐關(guān)鍵任務(wù)的運(yùn)行，滿(mǎn)足流媒體應(yīng)用的需要，滿(mǎn)足客戶(hù)的各種定制化需求。PT6610A提供先進(jìn)的管理功能和存儲(chǔ)技術(shù)，具有可靠的可擴(kuò)充性和高可用性。標(biāo)配500W單電源。（不支持CPU超頻，冗電不支持40系列顯卡）
			CPU	1 X INTEL i7-12700/2.1GHz/25M/12C/20T/65W
			內(nèi)存	2 X 32GB/DDR5/4800MHz/ECC/Unbuffered/2Rx8/1.1V
			SSD	1 X SSD/1TB/M.2/2280/NVMe/PCIex4/消費(fèi)級(jí)SSD
			電源	1 X 圖站塔式1000W單電源
			其它配件	1 X SFT-OOB-LIC（PR4610A/PT6610A必選)
			GPU	1 X 4090/4090D