亿级数据、千条告警秒级处理!浪潮信息InManage智能管理10万+IT设备

北京2024年10月21日 /美通社/ -- 随着数字化和智慧化的加速落地,数据中心的设备规模快速攀升。数据中心的Scale out给基础设施运维管理带来全新挑战。以拥有10万+设备的大规模数据中心为例,面对每日产生高达近30TB的设备运行状态、亿级监控指标、数千条告警推送等,如何秒级反馈海量并发需求,保证管理平台稳定运行?如何避免将每秒近千条的大规模设备告警风暴强塞给客户,进行根因定位并避免误报、漏报?这些挑战正伴随服务器、存储和网络设备规模的持续增长,成为超大规模数据中心管理亟待解决的难题。

浪潮信息InManage是一款面向数据中心基础设施的智能管理平台,通过统一接口、协议,能够纳管多达400种不同厂商、不同型号的服务器、存储、网络等机型,设备规模最多可达10万台,为超大规模数据中心运维提供智能均衡调度、实时精准告警等管理功能。浪潮信息InManage通过智能均衡作业调度平台,能够在秒级内处理超大规模数据中心亿级实时并发运维管理数据,并基于自研的告警管理框架,实现5秒内响应上千条告警风暴,显著降低告警误报与漏报的风险。InManage不仅创造了金融行业单一数据中心带外管理的最大纪录,还实现了数据中心基础设施全生命周期管理,整体运维效率提升两倍,为超大规模数据中心的稳定、高效运行奠定了重要基础。

10万+超大规模设备集群管理,面临稳定性与实时性多重挑战

随着数据中心的规模化发展,服务器数量爆发式增长,数据中心设备规模从最初的1000台增加到10万台,规模扩大了100倍,涵盖了不同年代和厂商的服务器、存储、网络设备等,设备种类多,内存、电源、硬盘、风扇等各类故障发生的不确定性大。对于不同设备的统一管理,一般运维管理平台会在底层屏蔽设备差异,基于基线策略来实现纳管。但随着数据中心规模的骤增,数据中心运维管理的稳定性和故障的实时精准告警等挑战变得日益严苛。

首要面对的挑战是大规模数据中心基础设施管理平台的失稳问题。大规模基础设施管理要对不同基础设施运行状态进行实时分析,每天数据量达到TB级,而且海量并发需求要在秒级反馈,极易出现故障上报不及时、页面卡顿,甚至管理平台宕机。比如以往某客户数据中心管理平台进行运维测试时,基础设施规模从1000台增长到5000台,规模提升到原来的5倍,会出现管理页面卡顿,后台日志显示大量采集任务超时的问题。即使后续对管理平台进行分布式部署,系统负载依然出现较明显的峰值抖动现象,导致页面周期性卡顿。其原因主要是作业被调度后,缺乏有效的离散管理,高峰与低谷负载不均,对系统稳定性带来极大的挑战。此外,对于海量资源的数据采集任务,会受线程数、采集周期和耗时等因素影响,容易造成任务积压,对管理平台异常情况下的任务隔离与自动降频能力提出更高要求。

此外,设备大规模告警的延迟、误报和漏报是另一大挑战。在10万+大规模设备运维场景中,一般金融等行业的客户数据中心管理平台通常以平铺直叙方式呈现设备告警,缺乏更深层的故障根因判断、全周期管理等能力。在此场景下,一旦服务器BMC在批量刷新固件时出现故障,可能会在短时间内产生大量的Trap推送,同时还夹杂着设备离线等一系列异常告警。数千条告警的推送,易造成通信堵塞,从而出现告警延迟、告警丢失等。当客户看到堆积数千条告警邮件通知时,极易导致客户误认为系统正面临重大故障风险。而且由于没有全周期管理机制,即便设备故障修复,告警信息仍会持续存在,这也大大增加了运维管理的复杂性。

智能均衡作业调度,10万+超大规模设备亿级指标稳定采集

在超大规模监控场景下,作业调度不畅极易造成作业堆积、负载波峰波谷抖动,严重影响系统稳定性,进而影响采集进度。为此,浪潮信息InManage自研了ChaosJob作业调度中间件,突破了作业智能均衡调度技术,实现了采集作业的高效调度和稳定执行。

 在作业调度层面,InManage自研的任务调度中间件采用了灵活的作业分片与调度策略,能够基于客户的业务场景,对不同类型设备、不同协议类型的采集任务进行可高度自定义的细粒度分片。通过基于延迟队列+漏桶算法的"Job Capping"技术,实现任务分片的均衡下发,有效平抑系统负载波动,达到削峰填谷的目标。  在任务执行层面,针对超大规模数据采集这种IO密集型的任务,InManage突破线程优先线程池技术,运用"作业智能聚合"机制,将计算密集型任务与IO密集型任务进行智能调度与聚合,从而加速任务执行,提升系统整体吞吐量,实现任务处理的更高效与平稳性。  任务堆积防控层面,InManage的任务调度中间件具有异常任务自动识别与隔离功能,通过灵活的限流与隔离技术,确保任务"零堆积",同时保持系统整体吞吐量不受影响。例如,大规模数据中心可能存在多厂商、多型号的异构设备,有些老旧设备接口响应缓慢,采集耗时长,而这些设备往往不运行核心业务,虽然不受重视,又不能遗弃。在此场景下,InManage能够智能识别这些设备的异常表现,主动将相关采集任务进行隔离与降频处理,优先保障其他关键任务的正常执行。这一过程完全自动化,无需客户干预,成功应对了10万规模管理场景下新旧设备混杂带来的管理挑战。

图1浪潮信息 InManage平台超大规模作业调度架构

告警管道动态分析,1000+告警动秒级实时精准响应

在面对10万+超大规模设备管理时,如何避免将系统产生的告警风暴强塞给客户,如何进行根因定位并避免误报、漏报,是数据中心统一管理的另一挑战。为此,InManage提出了CDCAlarm告警管理框架,突破了告警集成管理技术,实现了告警的及时性、准确性和全面性,同时支持告警分析、聚合及根因分析等功能。该框架能够为客户呈现按优先级排序和分类聚合的告警,直观易懂、方便用户进一步处理。

InManage使用AI技术手段对告警进行分类、分批处理,实现告警按来源、种类的归并聚合策略,在保证告警时序性的同时,提升了告警处理的整体吞吐量。同时使用基于AI的根因定位方法,快速从告警风暴中准确识别出故障根因,并呈现给客户,有效解决了客户在面对告警风暴时无从入手的局面。

同时,针对超大规模监控场景下常见的误报漏报等告警不准确、不及时问题,InManage也做了优化。

秒告警秒恢复问题:在10万+设备的管理中,某些设备可能在发出告警的同时又快速发出了恢复信号,甚至可能出现恢复信息先于告警到达。在此场景下,传统系统容易误判为告警未恢复,从而导致误报。InManage的智能告警归并技术能够有效识别和规避此类时序问题,确保告警处理的准确性。

告警噪点问题:在资源利用率实时采集场景下,短暂的峰值可能导致瞬时超阈值的告警,但整体使用率却保持平稳。为避免因这些噪点导致的误报,InManage的告警管道采用了智能识别和计数技术,能够对短时间内的同类告警进行聚合处理,从而彻底消除此类误报。

告警遗漏问题:在大规模数据中心中,由于网络负载高,SNMP协议中的Trap信息(基于不可靠的UDP传输)更容易丢失。为解决这一问题,InManage提出了融合多种协议和多源数据的AI智能预警技术,该技术可提供全天候的设备实时监控和故障分析,有效降低了告警遗漏的风险,减少客户业务隐患。

图2 浪潮信息 InManage平台告警分析与处理架构

稳定、快速和高效的超大规模监控

在10万+大规模设备管理环境中,InManage系统表现出了稳定的性能与高效的运作能力,确保了数据采集任务得以平稳且迅速地执行,显著增强了系统的整体处理能力,有效规避了任务积压问题。面对每日高达近30TB的服务器运行状态数据洪流,InManage每秒可处理高达1000条的告警风暴,响应延迟维持5秒以内,保证了系统监控的实时性与准确性。

此外,InManage还具备对历史数据进行高效压缩与无缝转储的能力,在保障当前系统流畅运行的同时,确保了历史数据的完整性与可访问性,有效避免了数据丢失的风险。在如此庞大的规模下,InManage仍能快速查询一年内的历史告警或事件通知,响应时间缩短至2秒以内,为客户提供了强大的历史问题追溯能力,确保问题根源得以迅速定位,为系统的长期稳定运行提供了坚实保障。

InManage满足了客户对于大规模、多元化、多类型设备的统一带外管理,确保了数据的稳定采集及告警集中高效监控,同时还具备基础设施全生命周期资产管理、自动化部署管理等能力。其大规模统一带外管理技术、告警智能化分析技术水平处于国内领先水平,授权国家发明专利超过20项。未来,InManage也将更加关注客户需求的变化,不断优化产品和服务,为客户提供更加全面、高效、智能的解决方案,助力客户实现数字化转型和业务升级。

原创文章,作者:,如若转载,请注明出处:https://knewsmart.com/archives/313820

(0)
上一篇 2024年10月21日 下午3:11
下一篇 2024年10月21日 下午3:11

相关推荐

  • 全球首款IDH双靶点创新药在博鳌乐城实现"亚洲首用"

    ——Vorasidenib落地华西乐城医院并启动筹备真实世界研究 海南博鳌2024年11月24日 /美通社/ -- 由四川大学华西乐城医院、海南乐城真实世界研究院主办、施维雅中国支持的"Vorasidenib华西乐城医院落地启动暨筹备真实世…

    48分钟前
    4.3K
  • 快手因短视频存在违法信息被处罚,还面临电商增速放缓烦恼

    雷达财经鸿途出品 文|石业 编|深海 11月22日,“国家网络安全通报中心”官方微信发布通报称,针对快手公司短视频中存在违法信息等问题,公安机关依据《网络安全法》规定,依法给予快手公司警告处罚。 通报显示,经查…

    专栏 6小时前
    14.0K
  • 钟睒睒“一鸣”惊人,快手泯然“一笑”?

    来源 / 互联网江湖 作者:刘致呈 这两天,钟睒睒喊话张一鸣火了。 钟睒睒的话说得很严厉,要求平台立即删除伤害和污蔑的相关信息,并且要求道歉。 没想到,等不来张一鸣的回应,却等来了相关部门对快手的警告处罚。…

    专栏 6小时前
    13.8K
  • 卖一台车亏10万,蔚来李斌慌不慌?

    蔚来汽车单价最高,为什么盈利能力不如小鹏和理想? 采写/老谢 编辑/陈纪英 11月20日晚间,蔚来发布了3季报及交付量数据,2024年Q3营业收入186.73亿元人民币,同比2023年Q3下降2%,净利润-51.42亿元,同比下降11%…

    专栏 6小时前
    14.3K
  • 强劲增长后还有扎实储备,透过中期业绩看阿里影业稳定发展内核

    2024年,中国电影市场处于沉淀和求变的阶段。根据最新数据,年内累计票房已经突破395亿,但预计全年难以突破450亿大关。同时,观众消费趋于理性,优质供给不足,对影视公司的经营水平提出了更高的考验。 这样的大背…

    专栏 6小时前
    14.0K
  • 蒋凡,真正敌人在阿里

    今天蒋凡所接手的阿里电商,真正对手除了四面八方的追兵,更大挑战是阿里自身——这个运行了25年的,略显陈旧的电商组织系统。 来源|极点商业 作者|顾逍 编辑|杨 铭 突然,但并不意外,阿里昔日“太子爷”卷土归来。 蒋…

    专栏 6小时前
    12.7K
  • 以 SHEIN被指“用AI侵权牟利”为例,聊聊AIGC应用带来的社会问题

    大语言模型(Large Language Model,LLM )广泛应用的结果之一,便是侵权事件的频出。 自ChatGPT横空出世到现在的2年时间里,关于AIGC侵权的案件越来越多,也越来越复杂。此前的AIGC相关诉讼争议,原告主要包括媒体…

    专栏 6小时前
    15.0K
  • 为什么短剧走向免费后,发展更猛了?

    镜象娱乐 文丨栗子酒 短剧正在突破新的上限,这一次的增长动力,来自免费模式的高速发展。 对此,市场其实已有明显感知,短剧的消费行为正从之前的冲动付费向免费观看转变。DataEye数据显示,今年上半年,IAA短剧日…

    专栏 6小时前
    12.8K
  • “长短”共生,爱奇艺拥抱变化

    11月21日,爱奇艺公布2024年第三季度财报。 数据显示,第三季度爱奇艺总收入72亿元人民币,其中会员服务收入44亿元;当季Non-GAAP运营利润为3.7亿元。从经营质量来看,爱奇艺的稳健一如往常,已经连续10个季度实现…

    专栏 6小时前
    13.5K
  • 三季度业绩亮点多元,宝尊全域经营走向破茧成蝶

    电商行业的变革从未停止,始终反映着网络消费和品牌发展的趋势,以及未来的想象空间,因此令赛道上的相关公司备受关注。 那么,当前赛道正在发生哪些变化?11月21日,行业龙头宝尊电商发布截至2024年9月30日的2024…

    专栏 6小时前
    14.2K

发表回复

登录后才能评论