中國教育在線
中國教育在線
交大“交我算”計(jì)算集群:共建openEuler開源技術(shù)新生態(tài)
2024-01-08 14:08:00
中國教育在線
作者:

  數(shù)字經(jīng)濟(jì)乘風(fēng)起,百舸揚(yáng)帆正當(dāng)時。大數(shù)據(jù)、區(qū)塊鏈、云計(jì)算、人工智能、工業(yè)互聯(lián)網(wǎng)加速演進(jìn),信息化浪潮日新月異,新一輪科技革命和產(chǎn)業(yè)變革深入發(fā)展,數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)集群紛紛涌現(xiàn)。

  黨的二十大報告提出“加快建設(shè)制造強(qiáng)國、質(zhì)量強(qiáng)國、航天強(qiáng)國、交通強(qiáng)國、網(wǎng)絡(luò)強(qiáng)國、數(shù)字中國”。《數(shù)字中國建設(shè)整體布局規(guī)劃》明確“建設(shè)數(shù)字中國是數(shù)字時代推進(jìn)中國式現(xiàn)代化重要引擎”。鋪好數(shù)字經(jīng)濟(jì)發(fā)展的基石,打通數(shù)字基礎(chǔ)設(shè)施,為數(shù)字經(jīng)濟(jì)全面高質(zhì)量啟航營造良好生態(tài)尤為重要。

  以操作系統(tǒng)為代表的基礎(chǔ)軟件,既是連接底層算力資源和計(jì)算生態(tài)應(yīng)用層的產(chǎn)業(yè)核心,也是統(tǒng)籌各類數(shù)字資源、激發(fā)數(shù)字要素活力、構(gòu)建數(shù)字經(jīng)濟(jì)整體布局的關(guān)鍵。培育好連接底層算力資源和上層應(yīng)用的操作系統(tǒng)基礎(chǔ)軟件,推動信息技術(shù)應(yīng)用覆蓋社會生產(chǎn)生活的方方面面,構(gòu)建互聯(lián)互通的新型數(shù)字化產(chǎn)業(yè),才能夠真正實(shí)現(xiàn)釋放數(shù)字潛能,廣泛賦能實(shí)體經(jīng)濟(jì)。

  從星火到燎原,歐拉成為中國第一服務(wù)器操作系統(tǒng)

  此前,我國基礎(chǔ)軟件產(chǎn)品大多依賴國外技術(shù),操作系統(tǒng)作為軟件領(lǐng)域基礎(chǔ)研究中的重要環(huán)節(jié),在基礎(chǔ)軟件中處于核心地位,也長期為國外所主導(dǎo),國產(chǎn)化操作系統(tǒng)以及與之相應(yīng)的共創(chuàng)共享的開源模式呼之欲出。

  近年來,隨著我國計(jì)算生態(tài)和算力設(shè)施建設(shè)的日臻提升,中國操作系統(tǒng)迎來了高速發(fā)展,其中openEuler(歐拉)操作系統(tǒng)凝聚華為十余年的沉淀,歷經(jīng)四年開源生態(tài)建設(shè),成為國產(chǎn)操作系統(tǒng)的一騎絕塵。根據(jù)IDC 報告預(yù)測,2023 年中國服務(wù)器操作系統(tǒng)領(lǐng)域,openEuler(歐拉)系市場份額第一,達(dá)到 36.8%。

  起源于華為自研服務(wù)器操作系統(tǒng)的openEuler(歐拉)操作系統(tǒng),面向數(shù)字基礎(chǔ)設(shè)施,支持服務(wù)器、云計(jì)算、邊緣計(jì)算、嵌入式等應(yīng)用場景,自2019年正式開源以來,連接全球開源基金會、開源組織、開發(fā)者,共建全球開源新生態(tài)。四年來,從星星之火到燎原之勢,openEuler已經(jīng)成長為符合國際標(biāo)準(zhǔn)的開放治理、合規(guī)運(yùn)作、具備安全供應(yīng)鏈的全球化社區(qū),在中國匯聚全球開源力量,為世界開源貢獻(xiàn)中國智慧。

  歐拉操作系統(tǒng)的崛起與歐拉開源社區(qū)的生態(tài)發(fā)展、社區(qū)治理,以及歐拉生態(tài)參與全球體系息息相關(guān)。中國工程院院士倪光南在由開放原子開源基金會、中國電子技術(shù)標(biāo)準(zhǔn)化研究院,國家工業(yè)信息安全發(fā)展研究中心、中國軟件行業(yè)協(xié)會共同主辦的“操作系統(tǒng)大會2023”上表示:“在當(dāng)前我國正處在全面建設(shè)社會主義現(xiàn)代化國家的新征程,面臨新形勢、新任務(wù),我們迫切需要重視開源,學(xué)習(xí)開源,用好開源,特別是在信息領(lǐng)域,開源可以成為發(fā)揮中國人才優(yōu)勢的創(chuàng)新平臺,成為中國融入科技創(chuàng)新網(wǎng)絡(luò),參與國際治理的有效方式。正是在這個大背景下,開源歐拉的成功實(shí)踐,具有強(qiáng)大的現(xiàn)實(shí)意義?!?/p>

  開放原子開源基金會孫文龍理事長認(rèn)為,openEuler的快速發(fā)展證明,充分利用開源、參與開源、支持開源、回饋開源,是實(shí)現(xiàn)操作系統(tǒng)技術(shù)創(chuàng)新和產(chǎn)業(yè)繁榮的路徑。

  歐拉的繁榮同樣也是產(chǎn)業(yè)各界集智薈力的結(jié)果,在歐拉操作系統(tǒng)廣泛應(yīng)用,推動數(shù)字化轉(zhuǎn)型走深走實(shí)的過程中,出現(xiàn)了一批具有示范性商業(yè)實(shí)踐的應(yīng)用落地。其中,上海交通大學(xué)“交我算”平臺openEuler集群作為教育行業(yè)的成功實(shí)踐,獲得由OpenAtom openEuler社區(qū)聯(lián)合國家工業(yè)信息安全發(fā)展研究中心,攜手業(yè)界專家最終評選的“2023年度openEuler領(lǐng)先商業(yè)實(shí)踐”殊榮。

  “交我算”openEuler集群為教研計(jì)算平臺提供示范推廣價值

  隨著信息通信技術(shù)的迅速發(fā)展,尤其是互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)的廣泛應(yīng)用,新的學(xué)習(xí)渠道和教學(xué)方式正在形成,教育要素也在發(fā)生深刻變革,教育行業(yè)正面臨著轉(zhuǎn)型課題與巨大的發(fā)展機(jī)遇,教育數(shù)字化轉(zhuǎn)型成為全球教育變革的重要戰(zhàn)略。黨的二十大將“推進(jìn)教育數(shù)字化”首次寫進(jìn)黨代會報告,提出“推進(jìn)教育數(shù)字化,建設(shè)全民終身學(xué)習(xí)的學(xué)習(xí)型社會、學(xué)習(xí)型大國”。面向新一輪科技革命和產(chǎn)業(yè)變革,積極推進(jìn)教育數(shù)字化轉(zhuǎn)型,適應(yīng)新時代人才培養(yǎng)的需求,是推動教育強(qiáng)國的必然要求。

  獲得“2023年度openEuler領(lǐng)先商業(yè)實(shí)踐”榮譽(yù)的上海交通大學(xué)“交我算”平臺openEuler集群從屬于校級高性能計(jì)算服務(wù)平臺“交我算”。校級計(jì)算平臺“交我算”由網(wǎng)絡(luò)信息中心負(fù)責(zé)建設(shè)及管理,全面支撐學(xué)校的教學(xué)、科研和管理的計(jì)算需求,重點(diǎn)支持校內(nèi)高水平用戶科研,提供HPC+AI算力資源,覆蓋各學(xué)科門類,支撐海洋學(xué)、生物醫(yī)學(xué)、航空航天、機(jī)械制造、天體物理等領(lǐng)域的科學(xué)研究及工程應(yīng)用。

  “交我算”寓意師生的計(jì)算需求可以放心交給“我”來算,平臺從2013年開始建設(shè),目前已發(fā)展成為國內(nèi)高校頂尖的計(jì)算平臺,根據(jù)計(jì)算需求提供“思源一號”高性能計(jì)算平臺、π2.0超算平臺、AI 平臺、ARM平臺四種計(jì)算支持?!敖晃宜恪眔penEuler計(jì)算集群是國內(nèi)高校首個基于ARM處理器的HPC集群,集群建設(shè)初期采用CentOS 7.6系統(tǒng),2023年交大網(wǎng)絡(luò)信息中心開展了國產(chǎn)操作系統(tǒng)遷移專項(xiàng)工作,將ARM集群操作系統(tǒng)全面替換為openEuler22.03。

  此前,在服務(wù)器操作系統(tǒng)居領(lǐng)先地位的CentOS操作系統(tǒng)于2020年開始停止維護(hù),對高性能計(jì)算來說繼續(xù)使用CentOS將面臨重大安全隱患,同時我國信息技術(shù)的發(fā)展也對操作系統(tǒng)安全性能的要求進(jìn)一步提高,這使得計(jì)算領(lǐng)域?qū)Π踩€(wěn)定、自主可控、可替代CentOS的國產(chǎn)操作系統(tǒng)的需求更為迫切。

  openEuler搭載了鯤鵬,相較CentOS擁有更好的性能與兼容性,然而在高性能計(jì)算領(lǐng)域還未有大規(guī)模應(yīng)用。在openEuler系統(tǒng)的遷移準(zhǔn)備過程中,交大網(wǎng)絡(luò)中心圍繞openEuler的兼容性、使用openEuler對于超算應(yīng)用性能的影響,開展了一系列的測試與分析,具體包括:在搭載了鯤鵬的ARM架構(gòu)超級計(jì)算機(jī)上成功部署了32個openEuler計(jì)算節(jié)點(diǎn),為其部署了超算軟件棧,隨后安裝并成功運(yùn)行了共計(jì)22個基準(zhǔn)測試與超算應(yīng)用;進(jìn)行了操作系統(tǒng)層面的微基準(zhǔn)測試、單節(jié)點(diǎn)的核函數(shù)測試,以及千核規(guī)模的超算應(yīng)用測試,將評測結(jié)果與使用CentOS時的結(jié)果進(jìn)行了對比與詳細(xì)的分析;過程中優(yōu)化集合通信性能,使用MPI和OpenMP混合編程、調(diào)整OpenMPI 的集合通信算法、更換編譯器與通信庫等方法,提高了使用openEuler時的集合通信性能。

  “交我算”ARM 架構(gòu)超算平臺是國內(nèi)首臺基于ARM處理器的校級超級計(jì)算機(jī)。交大網(wǎng)絡(luò)中心依托“交我算”平臺對openEuler開展的評測與分析工作,驗(yàn)證了openEuler對于ARM架構(gòu)超級計(jì)算機(jī)與多個典型科學(xué)計(jì)算應(yīng)用具有良好的兼容性,并且發(fā)現(xiàn)openEuler相較于CentOS具有更低的操作系統(tǒng)噪聲和更優(yōu)的內(nèi)存管理能力。

  交大網(wǎng)絡(luò)中心通過openEuler的遷移,定制了適用于“交我算”平臺的openEuler批量部署和集群配置管理方案,實(shí)現(xiàn)了國內(nèi)高校首個基于ARM處理器的HPC集群在硬件和系統(tǒng)層面上均采用了全國產(chǎn)化解決方案,積極呼應(yīng)了國家提升自主創(chuàng)新能力、推動國產(chǎn)化替代的政策大方向;同時在高性能計(jì)算領(lǐng)域集群評測、分析以及性能優(yōu)化的工作,不僅判斷了ARM架構(gòu)超級計(jì)算機(jī)上openEuler代替CentOS的可行性,也為國產(chǎn)操作系統(tǒng)在高性能計(jì)算領(lǐng)域的大規(guī)模應(yīng)用和完善提供了應(yīng)用先例和推廣經(jīng)驗(yàn)。

  “交我算”openEuler集群建設(shè)為開源社區(qū)貢獻(xiàn)生態(tài)發(fā)展力量

  2023年7月,“交我算”平臺正式上線了遷移完成后的openEuler計(jì)算集群。集群上線后面向上千個課題組共數(shù)千個用戶,提供了持續(xù)可靠的計(jì)算服務(wù)。到目前為止集群已穩(wěn)定運(yùn)行5個月,月平均資源利用率穩(wěn)步上升,用戶對openEuler系統(tǒng)的易用性和穩(wěn)定性受到了普遍認(rèn)可。另一方面,“交我算”平臺openEuler計(jì)算集群的實(shí)踐也充分驗(yàn)證了openEuler在HPC領(lǐng)域替代CentOS的可行性。

  在“操作系統(tǒng)大會2023”上,openEuler的開源生態(tài)和中國開源走向國際成為與會專家和產(chǎn)業(yè)界代表們熱議的話題。據(jù)openEuler平臺最新數(shù)據(jù),目前開源社區(qū)已吸引213萬開源用戶,匯聚17000多名開源貢獻(xiàn)者,1400多家頭部企業(yè)、研究機(jī)構(gòu)和高校加入,成立104個特別興趣小組(SIG),這表示國產(chǎn)操作系統(tǒng)已經(jīng)取得了里程碑式的重要進(jìn)展。

  openEuler委員會主席江大勇在“操作系統(tǒng)大會2023”上表示,歐拉開源四年,歷經(jīng)了1445天成為中國服務(wù)器操作系統(tǒng)新增第一份額,實(shí)現(xiàn)了跨越式的發(fā)展。在技術(shù)創(chuàng)新、行業(yè)應(yīng)用、產(chǎn)業(yè)生態(tài)建立了完善的發(fā)展體系,形成了正循環(huán)。歐拉通過開源協(xié)作的社區(qū)模式,匯聚了從服務(wù)器、SV、ISV和萬千開發(fā)者的力量,以開放的產(chǎn)業(yè)生態(tài)賦能千行萬業(yè)的生產(chǎn),支撐了智能化的升級。歐拉操作系統(tǒng)支持全球98%的開源軟件,致力于打造國際化的開源協(xié)作平臺,匯聚全球開源力量,為世界開源貢獻(xiàn)智慧。

  江大勇在談到openEuler作為數(shù)據(jù)基礎(chǔ)設(shè)施的開源操作系統(tǒng),解決以往操作系統(tǒng)在實(shí)際應(yīng)用中面臨“一種操作系統(tǒng)對應(yīng)一個應(yīng)用、用戶需要進(jìn)行一次適配”問題時說:“openEuler創(chuàng)造性地提出一套代碼、一套架構(gòu)支持多樣性算力、支持全場景,openEuler的通用支持也包括對智能芯片的支持。openEuler不僅僅是替代者,更符合接下來共用共享、生態(tài)互通操作系統(tǒng)的技術(shù)趨勢?!?/p>

  與openEuler生態(tài)的不斷發(fā)展同步而行的是,openEuler系統(tǒng)已經(jīng)在通信、金融、能源、交通、政務(wù)、信息化等領(lǐng)域開展規(guī)?;逃?,承載產(chǎn)業(yè)鏈各端力量,廣泛賦能實(shí)體經(jīng)濟(jì)并創(chuàng)造了顯著的社會效益。

  上海交通大學(xué)“交我算”openEuler集群在平臺建設(shè)和推廣過程中所集成的經(jīng)驗(yàn)給openEuler開源社區(qū)貢獻(xiàn)了生態(tài)發(fā)展力量。在系統(tǒng)遷移的前期測試中,交大網(wǎng)絡(luò)中心“交我算”團(tuán)隊(duì)發(fā)現(xiàn)HPC領(lǐng)域廣泛使用的開源并行文件系統(tǒng)Lustre在openEuler系統(tǒng)上存在部分兼容性問題,如內(nèi)核模塊編譯失敗?!敖晃宜恪眻F(tuán)隊(duì)與openEuler社區(qū)、Linaro協(xié)作,共同推進(jìn)了lustre并行文件系統(tǒng)在openEuler上的適配工作。目前經(jīng)過適配的系統(tǒng)組件包和預(yù)編譯的lustre 2.12.5版本client端軟件包已被納入openEuler 22.03 SP2發(fā)行版本。由Linaro主導(dǎo)的server端適配工作也在繼續(xù)進(jìn)行,計(jì)劃納入22.03 SP3發(fā)行版本。此項(xiàng)適配工作填補(bǔ)了openEuler在并行存儲領(lǐng)域支撐能力的一塊空白,增強(qiáng)了openEuler系統(tǒng)在高性能計(jì)算行業(yè)的競爭力。

  上海交通大學(xué)網(wǎng)絡(luò)信息中心“交我算”平臺開發(fā)工程師張?zhí)礻柣叵肫鹪趏penEuler集群應(yīng)用推廣中OpenFOAM的應(yīng)用案例移植給他留下了深刻的印象:“OpenFOAM是一個廣泛應(yīng)用于工程領(lǐng)域的自由、開源的計(jì)算流體力學(xué)軟件,在交我算平臺上使用該軟件的用戶群體數(shù)量非常多。這本來是個較為復(fù)雜的程序,但openEuler系統(tǒng)提供了友好的開發(fā)環(huán)境和豐富的應(yīng)用生態(tài),使得我們能夠沿用CentOS環(huán)境的部署經(jīng)驗(yàn),大大降低了移植難度。用戶使用角度來說,也能夠直接在openEuler集群上復(fù)用他們的工程項(xiàng)目,有助于迅速提升openEuler集群的利用率?!?/p>

  接下來,上海交大網(wǎng)絡(luò)信息中心還將與openEuler社區(qū)展開深度合作,針對“交我算”openEuler集群系統(tǒng)中發(fā)現(xiàn)的問題,向社區(qū)直接提出改進(jìn)需求并跟進(jìn)相關(guān)優(yōu)化和適配工作。張?zhí)礻栂嘈胚@些從生產(chǎn)環(huán)境中挖掘出來、立足于實(shí)際業(yè)務(wù)的需求,和在實(shí)際操作過程中總結(jié)出的成熟經(jīng)驗(yàn)有助于推動openEuler開源生態(tài)的自我完善和發(fā)展。交大超算平臺團(tuán)隊(duì)人員還將參與openEuler SIG組的工作會議和年度用戶大會,為openEuler開源社區(qū)貢獻(xiàn)交大計(jì)算支持。

  openEuler開源生態(tài)立足數(shù)字技術(shù)關(guān)鍵期,服務(wù)國家現(xiàn)代化建設(shè)

  自openEuler推廣社區(qū)開源生態(tài)至今,秉承“共建、共享、共治”的原則,四年生態(tài)發(fā)展歷程也是中國開源界在當(dāng)前數(shù)字經(jīng)濟(jì)技術(shù)自主創(chuàng)新的關(guān)鍵時期鼎立革新、奮力推進(jìn)中國式現(xiàn)代化進(jìn)程的縮影。openEuler計(jì)算生態(tài)和開源社區(qū)的崛起,表明國內(nèi)操作系統(tǒng)扭轉(zhuǎn)了過往信息技術(shù)領(lǐng)域軟件生態(tài)建設(shè)不足的歷史,全面支持大數(shù)據(jù)、云計(jì)算、人工智能、算力基礎(chǔ)設(shè)施、工業(yè)互聯(lián)網(wǎng)等數(shù)字要素云邊端協(xié)同的發(fā)展體系,開啟了國產(chǎn)操作系統(tǒng)研發(fā)與推廣的新局面。

  正如倪光南院士所述:在上萬名開發(fā)者的參與和貢獻(xiàn)下,openEuler已經(jīng)從一粒種子成長為參天大樹,承擔(dān)起構(gòu)建我國信息領(lǐng)域技術(shù)和數(shù)字經(jīng)濟(jì)底座的重任。

  與時俱進(jìn),守正創(chuàng)新。上海交通大學(xué)“交我算”平臺建于2013年,彼時已是當(dāng)時國內(nèi)高校最大超算系統(tǒng),經(jīng)過十年交大人的持續(xù)建設(shè),目前發(fā)展成國內(nèi)高校頂尖的算力中心,同時“交我算”團(tuán)隊(duì)是目前國內(nèi)最大的校級計(jì)算團(tuán)隊(duì)。在校級計(jì)算平臺的探索與實(shí)踐上,“交我算”平臺openEuler集群既為交大全??蒲袆?chuàng)新的支撐升級計(jì)算服務(wù)模式,在國內(nèi)高校計(jì)算平臺建設(shè)領(lǐng)域推出了與國產(chǎn)開源生態(tài)合作的先例,以積極響應(yīng)新時期教育數(shù)字化轉(zhuǎn)型、高校教學(xué)科研對計(jì)算平臺和軟件生態(tài)支持升級以及國產(chǎn)化操作系統(tǒng)應(yīng)用的需求,又推動了openEuler開源社區(qū)豐富應(yīng)用生態(tài)、完善優(yōu)化與適配、提升高性能計(jì)算性能的生態(tài)建設(shè)。

  產(chǎn)教融合、產(chǎn)學(xué)實(shí)踐,持續(xù)推動國產(chǎn)操作系統(tǒng)與開源生態(tài)進(jìn)步與創(chuàng)新。上海交通大學(xué)網(wǎng)絡(luò)中心“交我算”平臺開發(fā)工程師張?zhí)礻柶谕敖晃宜恪眔penEuler集群的實(shí)踐經(jīng)驗(yàn)對于其他高校起到借鑒意義,同時期望openEuler能夠進(jìn)一步完善系統(tǒng)的應(yīng)用生態(tài),吸引到更多用戶和機(jī)構(gòu),進(jìn)一步擴(kuò)大在國際上的知名度和影響力。

免責(zé)聲明:

① 凡本站注明“稿件來源:中國教育在線”的所有文字、圖片和音視頻稿件,版權(quán)均屬本網(wǎng)所有,任何媒體、網(wǎng)站或個人未經(jīng)本網(wǎng)協(xié)議授權(quán)不得轉(zhuǎn)載、鏈接、轉(zhuǎn)貼或以其他方式復(fù)制發(fā)表。已經(jīng)本站協(xié)議授權(quán)的媒體、網(wǎng)站,在下載使用時必須注明“稿件來源:中國教育在線”,違者本站將依法追究責(zé)任。

② 本站注明稿件來源為其他媒體的文/圖等稿件均為轉(zhuǎn)載稿,本站轉(zhuǎn)載出于非商業(yè)性的教育和科研之目的,并不意味著贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如轉(zhuǎn)載稿涉及版權(quán)等問題,請作者在兩周內(nèi)速來電或來函聯(lián)系。