您好,歡迎訪問北京冠龍騰翔科技有限公司官網!
010-82326623
13146754585
戴爾DELL服務器報價,戴爾二手服務器,惠普服務器報價,惠普二手服務器,北京戴爾服務器
您的位置:主頁 > 新聞動態 > 常見問題 >
聯系我們

戴爾DELL服務器報價,戴爾二手服務器,惠普服務器報價,惠普二手服務器,北京戴爾服務器

地址:北京市海淀區學院路29號眷16號樓3單元二層202
手機:13146754585

咨詢熱線010-82326623

深度學習GPU工作站/服務器硬件配置方案

發布時間:2020-12-07 19:50人氣:

引子

市場上用于深度學習訓練計算機大致情況如下:

(1)服務器/工作站(支持2、4、8塊GPU架構):普遍存在噪音大,無法放置于辦公環境,必須放到專門的機房,維護成本高,另外數據存儲帶寬、延遲、容量也不盡如意。

(2)分布式集群架構:性能強大,但是開發成本太高(太貴),是大多數科研單位及個人無法承受。

(3)組裝電腦:這類特點是價格便宜,但是在散熱和功率方面依然是普通家用/游戲電腦標準,穩定性巨差。

(4)大部分GPU計算機(服務器/工作站):重點都放在GPU卡數量上,似乎只要配上足夠GPU卡,就可以了。

然而,機器硬件配置還需要整體均衡,不同的學習框架更需要不同GPU卡去適配。

主流學習框架
主流框架加速效能

上圖是不同的DL框架加速效能(NVIDIA GP100為例),不同的框架并不是GPU越多效能就越高。

深度學習計算密集,所以需要一個快速多核CPU,對吧?!

聽說深度學習有很多顯卡就可以了,一個高速CPU可能是種浪費?!

搭建一個深度學習系統時,最糟糕的事情之一就是把錢浪費在并非必需的硬件上。

一個高性能且經濟的深度學習系統所需的硬件到底要如何配置?!

一. 深度學習計算特點與硬件配置分析:

深度學習計算特點

1.數據存儲要求

在一些深度學習案例中,數據存儲會成為明顯的瓶頸。做深度學習首先需要一個好的存儲系統,將歷史資料保存起來。

主要任務:歷史數據存儲,如:文字、圖像、聲音、視頻、數據庫等。

數據容量:提供足夠高的存儲能力。

讀寫帶寬:多硬盤并行讀寫架構提高數據讀寫帶寬。

接口:高帶寬,同時延遲低。

傳統解決方式:專門的存儲服務器,借助萬兆端口訪問。

缺點:帶寬不高,對深度學習的數據讀取過程時間長(延遲大,兩臺機器之間數據交換),成本還巨高。

UltraLA解決方案:

將并行存儲直接通過PCIe接口,提供最大16個硬盤的并行讀取,數據量大并行讀取要求高,無論是總線還是硬盤并行帶寬,都得到加大提升,滿足海量數據密集I/O請求和計算需要。

2. CPU要求

如今深度學習CPU似乎不那么重要了,因為我們都在用GPU,為了能夠明智地選擇CPU我們首先需要理解CPU,以及它是如何與深度學習相關聯的,CPU能為深度學習做什么呢?當你在GPU上跑深度網絡時,CPU進行的計算很少,但是CPU仍然需要處理以下事情:

(1)數據從存儲系統調入到內存的解壓計算。

(2)GPU計算前的數據預處理。

(3)在代碼中寫入并讀取變量,執行指令如函數調用,創建小批量數據,啟動到GPU的數據傳輸。

(4)GPU多卡并行計算前,每個核負責一塊卡的所需要的數據并行切分處理和控制。

(5)增值幾個變量、評估幾個布爾表達式、在GPU或在編程里面調用幾個函數——所有這些會取決于CPU核的頻率,此時唯有提升CPU頻率。

傳統解決方式:CPU規格很隨意,核數和頻率沒有任何要求。

UltraLA解決方案:

CPU頻率盡量高

CPU三級緩存盡量大(有必要科普一下CPU緩存)

“這是個經常被忽視的問題,但是通常來說,它在整個性能問題中是非常重要的一部分。CPU緩存是容量非常小的直接位于CPU芯片上的存儲,物理位置非常接近CPU,能夠用來進行高速計算和操作。CPU通常有緩存分級,從小型高速緩存(L1,L2)到低速大型緩存(L3,L4)。作為一個程序員,你可以將它想成一個哈希表,每條數據都是一個鍵值對(key-value-pair),可以高速的基于特定鍵進行查找:如果找到,就可以在緩存得值中進行快速讀取和寫入操作;如果沒有找到(被稱為緩存未命中),CPU需要等待RAM趕上,之后再從內存進行讀值——一個非常緩慢的過程。重復的緩存未命中會導致性能的大幅下降。有效的CPU緩存方案與架構對于CPU性能來說非常關鍵。深度學習代碼部分——如變量與函數調用會從緩存中直接受益。”

CPU核數:比GPU卡數量大(原則:1核對應1卡,核數要有至少2個冗余)。

3. GPU要求

如果你正在構建或升級你的深度學習系統,你最關心的應該也是GPU。GPU正是深度學習應用的核心要素——計算性能提升上,收獲巨大。

主要任務:承擔深度學習的數據建模計算、運行復雜算法。

傳統架構:提供1~8塊GPU。

UltraLA解決方案:

數據帶寬:PCIe8x 3.0以上。

數據容量:顯存大小很關鍵。

深度學習框架匹配:CPU核-GPU卡 1對1。

GPU卡加速:多卡提升并行處理效率。

4.內存要求

至少要和你的GPU顯存存大小相同的內存。當然你也能用更小的內存工作,但是,你或許需要一步步轉移數據。總而言之,如果錢夠,而且需要做很多預處理,就不必在內存瓶頸上兜轉,浪費時間。

主要任務:存放預處理的數據,待GPU讀取處理,中間結果存放。

UltraLA解決方案:

數據帶寬最大化:單Xeon E5v4 4通道內存,雙XeonE5v4 8通道內存,內存帶寬最大化。

內存容量合理化:大于GPU總顯存。

說了那么多,到底該如何配置深度學習工作站,下面是干貨來襲~

二. 深度學習工作站介紹與配置推薦

1. UltraLABGX370i-科研型

UltraLAB GX370i-科研型

硬件架構:4核4.7GHz~5.0GHz+4塊GPU+64GB內存+4塊硬盤(最大)

機器特點:高性價比,最快預處理和GPU超算架構

數據規模:小規模

UltraLAB GX370i 基準配置

2. UltraLABGX490i-高效型

UltraLAB GX490i

硬件架構:配置10核4.5GHz+4塊GPU+128GB+4塊硬盤(最大)

機器特點:較GX360i,CPU核數和內存容量提升

數據規模:中小規模

UltraLAB GX490i基準配置

3. UltraLABGX490M-高性能型

UltraLAB GX490M

硬件架構:配置6核4.5GHz/8核4.3GHz/10核4.3GHz+最大7塊GPU+256GB+20盤位并行存儲

機器特點:GPU數量支持到7塊,支持海量數據并行存儲

數據規模:中大規模

UltraLAB GX490M基準配置

4. UltraLABGX620M-超級型

UltraLAB GX620M

硬件架構:雙Xeon可擴展處理器(最大56核,最高3.8GHz)+最大9塊GPU+20盤位并行存

機器特點:目前最強大的CPU+GPU異構計算

數據規模:建模與仿真計算、高性能科學計算、機器/深度學習

UltraLAB GX620M基準配置

UltraLAB深度學習工作站特點:

(1)種類豐富: GX370i(1C4G), GX490i(1C4G) --科研型,GX490M(1C7G)、GX620M(2C9G)--超級型。

(2)性能特點:超高頻+多GPU+海量高速存儲+靜音級=最完美強大DL硬件平臺。

(3)應用平臺:完美支持TensorFlow,Caffe,Torch,DIGITS,Theano,MXNet等。

推薦資訊

?
010-82326623
丁香五月婷婷激情