崗位職責
負責大數據集群系統運維,包含系統監控、應急響應、容量規劃等,研究大數據業務相關運維技術,持續優化集群服務架構,探索新的大數據運維技術及發展方向;
設計和指導基于Hadoop的MapReduce、Hive、HBase等應用開發;
1、負責公司核心集群的運維工作,**其高可用和穩定性。
2、負責集群容量規劃、擴容及集群性能優化。
3、深入研究大數據業務相關運維技術,持續優化集群服務架構,探索新的Hadoop運維技術及發展方向。
4、設計實現分布式集群的運維、監控和管理平臺。
崗位階梯
系統維護工程師、運維工程師、數據庫管理員、技術支持 4--8K
大數據研發工程師、大數據管理工程師、大數據架構師 6--12K
運維總監、IT經理、大數據研發經理、大數據項目經理 10K--30K
課程介紹
目前Hadoop在很多企業應用越來越廣泛,Hadoop人才也很稀缺和搶手,待遇也水漲船高。本系列課講解目前主流的Hadoop版本Cloudera Hadoop 5(這里采用cdh5.1),該版本相比0.20.x,性能和穩定性上提高很多。CDH5環境搭建相比舊版本也復雜很多,但可以用Cloudera-Manager對集群進行管理和配置。CDH5默認集成了常用的所有組件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等,從而形成一功能強大的分布式平臺。
課程設置
教學環境
學校環境圖一
學校環境圖二
學校環境圖三
關于我們
上海昂立教育培訓有限公司秉持上海交通大學“自強首在儲才,儲才必先興學”的信念,恪守嚴謹務實的學風,以培養高質量實用技術人才為宗旨,堅持 “以學習者為中心”的理念,致力于為學習者提供標準化、高品質的個性化教育服務,以提升他們的個人競爭能力。經過十余年的發展,上海交通大學昂立教育已成為全國上海知名的教育品牌,取得輝煌的成績,為社會培養出了大量的人才。目前是上海具規模、課程體系完善、師資力量強、管理先進的教育品牌。
交大昂立教育的標準化服務體系和學習內容通過實戰驅動教學,對學習者進行個性化評測與診斷、個性化學習內容和資源的“配送”、個性化的反饋跟蹤和個性化的互動指導,為學習者創設了一個完全適合其自身特點的個性化學習環境,大限度地挖掘和激發學習者個人的學習潛能,讓學習者體驗高效的成功學習。
交大昂立教育真正把傳統教育資源、商業企業技術資源與個體教育需求整合在一起來創造教育價值,開創業界先河,繼承母校上海交通大學百年學府深厚的辦學傳統,奮發圖強的發展歷程,乘風揚帆,朝著“綜合性、研究型、國際化”的世界目標奮進。