經(jīng)過長時間的實習(xí)和總結(jié)，咱們發(fā)現(xiàn)效勞器運營的大數(shù)據(jù)有以下四個特色，由淺入深，分別是：1）Volume數(shù)據(jù)體量無窮，特別是騰訊有海量的效勞器，歸納起來，數(shù)據(jù)量能夠到PB等級，需要大容量、高性能的存儲技能，剖析的算法也需要最優(yōu)化；2）Variety數(shù)據(jù)類型眾多，觸及許多的運轉(zhuǎn)日志、部件狀況、出產(chǎn)鏈運營、環(huán)境變量等，常常要抽絲剝繭，才干找到有用的數(shù)據(jù)；3）Value 價值無窮，但并不是每個數(shù)據(jù)都有價值，需要經(jīng)過清潔和加工處置后，其發(fā)作的作用才干閃現(xiàn)，以機房環(huán)境溫度告警為例，數(shù)百萬條溫度的信息，經(jīng)過剖析比照后，才有能夠發(fā)現(xiàn)溫度反常；4）Velocity數(shù)據(jù)需要疾速處置，特別是告警類的運用，時效性是十分重要的。

下面講講咱們是怎樣搜集和存儲效勞器運營數(shù)據(jù)的，給我三分鐘，給你一個英俊又有養(yǎng)分的答案！

運營體系架構(gòu)

關(guān)于海量效勞器的辦理，咱們建立了一套功用強壯的運營剖析體系，從效勞器的帶內(nèi)和帶外搜集了悉數(shù)的靜態(tài)屬性和動態(tài)運轉(zhuǎn)數(shù)據(jù)，對效勞器的每個關(guān)節(jié)進行的全方位的數(shù)據(jù)搜集和監(jiān)控。猶如咱們平常體檢，把心、肝、脾、肺、腎，乃至每個毛孔，都進行了查看。體系架構(gòu)如下圖所示。

存儲和剖析

數(shù)據(jù)搜集起來后，除了一部分實時的數(shù)據(jù)存在本地數(shù)據(jù)庫，簡直悉數(shù)的歷史數(shù)據(jù)都會存儲在公司級的數(shù)據(jù)渠道中。這個數(shù)據(jù)渠道供給了豐富的東西體系，功用悉數(shù)，涵蓋了數(shù)據(jù)存儲、剖析、實時核算等。例如，TPG是依據(jù)postgreSQL的數(shù)據(jù)庫，用于寄存TDW（Tencent distributed Data Warehouse騰訊分布式數(shù)據(jù)倉庫）離線剖析后的成果數(shù)據(jù)，便于體系調(diào)用（如效勞器利用率剖析,毛病剖析、效勞器生命周期等出產(chǎn)數(shù)據(jù)）；Hbase依據(jù)No SQL，萬億級的分布式、有序數(shù)據(jù)存儲，用于寄存剖析后的成果數(shù)據(jù)（如溫度功耗剖析成果數(shù)據(jù)）。全體的架構(gòu)如下圖所示。

大數(shù)據(jù)的四個實習(xí)

大數(shù)據(jù)的規(guī)劃剖析，決議計劃者和開發(fā)者首要要從事務(wù)驅(qū)動的視點，挑選數(shù)據(jù)出產(chǎn)的事務(wù)場景，即要估計數(shù)據(jù)剖析得到的成果能帶來哪些效益。依據(jù)公司效勞器運營的特色，咱們在以下四個場景做了大數(shù)據(jù)的剖析和運用，給實踐的運營帶來的實實在在的好處。

硬盤毛病猜測

硬盤是效勞器硬件毛病率最高的一個部件，假如能提早猜測到硬盤毛病，對事務(wù)體會、完善備件辦理都有莫大的收益。這也是根底架構(gòu)運營在經(jīng)歷主動化、流程化后，需要進一步進步運營功率、下降運營本錢的天然需要。

觸及硬盤的運營數(shù)據(jù)包含事務(wù)IO數(shù)據(jù)、硬盤內(nèi)部的SMART和硬盤運轉(zhuǎn)的環(huán)境變量數(shù)據(jù)(溫度和濕度)。當(dāng)前，運營體系對IO數(shù)據(jù)是每小時搜集一次，SMART數(shù)據(jù)每三小時搜集一次，溫度和濕度每半小時搜集一次，這些數(shù)據(jù)算計起來每天的記載數(shù)上億條。硬盤毛病猜測，適宜運用分類算法，咱們運用了當(dāng)前較為盛行的SVM分類算法，輔以適宜的核函數(shù)來加快學(xué)習(xí)核算的功率。

經(jīng)過了一年多時間的實習(xí)，走了不少彎路，也碰到了許多坑，在硬盤毛病標(biāo)準(zhǔn)斷定、事務(wù)IO分類定義等方面吃了不少的虧，咱們在依據(jù)SMART數(shù)據(jù)做的毛病猜測，到達了令人滿意的作用。在實踐運營環(huán)境中驗證的成果如下：準(zhǔn)確率precision到達98%，猜測時間leadtime的全體偏差不超越2天。

需要要點指出的是，咱們做的猜測成果，除了training期間用歷史數(shù)據(jù)外，驗證的進程是用現(xiàn)網(wǎng)的實時數(shù)據(jù)來進行的。即是說，經(jīng)過SVM算法得到的猜測模型后，咱們是用最新搜集的實時數(shù)據(jù)輸入到模型中，得到的ok和fail兩種猜測成果，在3天、7天、14天后再對猜測的成果進行驗證。這個比傳統(tǒng)的猜測方法（練習(xí)和驗證都是運用歷史數(shù)據(jù)），對現(xiàn)網(wǎng)運用的價值大大進步了。當(dāng)前在現(xiàn)網(wǎng)環(huán)境中，首要的落地場景包含：1）猜測出來的成果，經(jīng)過運營流程，對BG事務(wù)提早宣布預(yù)警，以進步事務(wù)運維功率 2）依據(jù)猜測出來的大規(guī)模硬盤毛病，對備件進行有用辦理。

效勞器利用率剖析

騰訊的事務(wù)類型和機型都相當(dāng)多，機器分配給事務(wù)后，運用的狀況如何？咱們需要盯梢效勞器的利用率狀況，下圖是某事務(wù)某機型磁盤IO的利用率核算剖析圖。剖析進程如下：存儲類機型，看到一段時間核算出來的IO的利用率并不高，并且是寫少讀多的運用，是不是能夠考慮運用IOPS相對不高的賤賣硬盤？仍是事務(wù)的架構(gòu)存在優(yōu)化的空間？

效勞器利用率剖析給運營帶來的好處在于：1）聯(lián)絡(luò)事務(wù)模型，發(fā)現(xiàn)事務(wù)運用效勞器的短板，在發(fā)現(xiàn)并批改體系架構(gòu)缺點的一同，進步全體利用率；2）對機型選型的優(yōu)化，例如關(guān)于磁盤容量運用率不高的機型，在后續(xù)的機型定制中削減硬盤的數(shù)量。

毛病率剖析

效勞器毛病剖析對效勞器的各個部件的毛病率都做了剖析和監(jiān)控，包含1）生成月度毛病率報表；2）毛病率反常的實時監(jiān)控和主動告警；3）剖析外部條件與毛病率的聯(lián)絡(luò)；4）與OS的軟件告警信息聯(lián)動起來，及時發(fā)現(xiàn)效勞器的亞健康狀況。

上圖是某效勞器硬件近來幾周的毛病率核算信息。按部件給出各個機型的毛病率狀況，及時發(fā)現(xiàn)批次性毛病并給出告警

環(huán)境監(jiān)控

2013年8月，華東地區(qū)遭受稀有的高溫氣候，許多機房空調(diào)制冷扛不住了，頻頻發(fā)作效勞器高溫重啟的事情。假如能把機房環(huán)境溫度有用的監(jiān)控起來，咱們就能在發(fā)現(xiàn)反常時宣布高溫告警，提早采納措施。對效勞器入風(fēng)口溫度進行搜集和監(jiān)控是一個較為有用的計劃。

上圖顯現(xiàn)效勞器入風(fēng)口溫度改變的反常狀況，經(jīng)過數(shù)據(jù)的規(guī)整和誤差批改，發(fā)作了高溫告警。經(jīng)過主動化流程，及時知會到機房現(xiàn)場負(fù)責(zé)人。

一些考慮

不要被數(shù)據(jù)誤導(dǎo)

人們很簡單被大數(shù)據(jù)忽悠。在許多場合咱們都談了大數(shù)據(jù)強壯的功用和夸姣的將來，以為能夠處理許多社會問題，乃至猜測將來。不管大數(shù)據(jù)如何奇特，若試圖用大數(shù)據(jù)引領(lǐng)將來只會誤入歧途，由于大數(shù)據(jù)背后本就存在著“先天不足”：從本質(zhì)上看，大數(shù)據(jù)最大的缺點就在于試圖以斷定去“推翻”混沌與不斷定性。之前咱們做硬盤毛病猜測，直觀的以為硬盤的讀寫壓力對硬盤老化和毛病是有直接聯(lián)絡(luò)的，但經(jīng)過剖析，發(fā)現(xiàn)事務(wù)運用硬盤的隨機性太大了，硬盤呼應(yīng)IO的形式也許多變，關(guān)于事務(wù)的IO讀寫份額、塊巨細(xì)等，有太多的不斷定性，即是前面說的混沌，致使前面依據(jù)IO做的猜測成果十分差勁。本來這兒要說的即是，當(dāng)前這個期間，依托大數(shù)據(jù)來輔導(dǎo)效勞器運營，不靠譜，效勞器運營智能化遠遠沒有到達。這兒仍是要靠運營和開發(fā)人員的思想和腦筋，把主動化運營先做好。

數(shù)據(jù)質(zhì)量的把控

數(shù)據(jù)的質(zhì)量和字段規(guī)范性對后面剖析作用的影響很大。但事務(wù)開發(fā)所設(shè)計的數(shù)據(jù)不是為了運營剖析而效勞的，許多狀況下都是為了功用開發(fā)而存在，假如能夠在體系構(gòu)建初期進行介入，本來可用避免許多清潔作業(yè)，數(shù)據(jù)可直接投入剖析運用。這兒開發(fā)人員和數(shù)據(jù)剖析的人員存在一個gap，假如對數(shù)據(jù)在體系設(shè)計中遇上各種束縛的話，開發(fā)人員會覺得很苦楚，開發(fā)功率十分低；而數(shù)據(jù)剖析人員卻覺得假如數(shù)據(jù)能做到東西級定制，即是連數(shù)據(jù)的表字段的名稱，注釋，連內(nèi)部聯(lián)絡(luò)，都是由體體系一生成，這樣搜集完滿的。

后來，咱們內(nèi)部經(jīng)過一段時間的評論和磨合，構(gòu)成的一致。咱們做的是運營體系，歸根到底是為運營效勞的，而數(shù)據(jù)剖析是運營的一個重要功用。所以沒有辦法，這個問題仍是需要開發(fā)期間來處理，開發(fā)人員只能克服了。

對大數(shù)據(jù)將來的想象

精細(xì)化的傳感器

關(guān)于效勞器上傳感器的設(shè)計，互聯(lián)網(wǎng)公司有特別的需要，對上游硬件廠商的依靠是比較高的。騰訊有許多的效勞器運營數(shù)據(jù)，十分期望能夠跟業(yè)界一同在數(shù)據(jù)、資本、算法等各個維度能夠同享，尋求更多進步運營功率的途徑。這兒的傳感器也能夠從廣義上來打開，除了效勞器物理上的sensor不斷增加，在效勞器各個運營環(huán)節(jié)都能夠在流程中加入各種搜集代碼，把效勞器布置、搬家、退役等每個細(xì)小的過程都照實的記載下來。運營體系的不斷優(yōu)化將使“傳感器”體積微型化，它將出現(xiàn)在出產(chǎn)的每一個旮旯，為運營決議計劃供給更科學(xué)的數(shù)據(jù)支持。

數(shù)據(jù)效勞即開即用

跟著數(shù)據(jù)的逐步完善和開放，互聯(lián)網(wǎng)和公司都將建立起完善的大數(shù)據(jù)效勞根底架構(gòu)及商業(yè)化形式，從數(shù)據(jù)的存儲、發(fā)掘、辦理、核算等方面供給一站式效勞，將各行各業(yè)的數(shù)據(jù)孤島打通互聯(lián)。并且數(shù)據(jù)運用的生態(tài)體系也將變得十分老練，乃至出現(xiàn)用戶與數(shù)據(jù)效勞商之間的算法供給商，他們有專業(yè)領(lǐng)域內(nèi)的高手人才，經(jīng)過數(shù)據(jù)發(fā)掘的方法，尋覓事物間的聯(lián)絡(luò)。用戶只需將其原始數(shù)據(jù)導(dǎo)入，供給商很快的就能在線的將剖析成果回來，如水和電相同，即開即用。
          TAG :機房監(jiān)控 機房監(jiān)控系統(tǒng) 機房環(huán)境監(jiān)控 來源：http://m.wer666.com