Prometheus指标采集和查询存储方案-2020年

我们分一级监控平台和二级集群Prometheus监控采集组件。一级提供kafka集群和Prometheus聚合组件，二级各集群部署Prometheus和Prometheus-kafka-adapter组件，采集和远程送数据到一级的kafka集群。

该方案优点：

1.业务系统可以跨集群聚合数据，如图k8s集群-1和k8s集群-2数据聚合到Top-1的Prometheus上。

2.一级监控平台上只要有足够的cpu、存储资源，理论上可以水平扩展接入更多集群。2020年底采集的指标量每天3194亿的量级，吞吐量达370万/s。

3.采集端Prometheus可以保留极少数据，比如6小时的数据，减少资源消耗。而上层Prometheus由于落数据到时序数据库influxdb中，可以保存一个月数据量甚至更多。

该方案没做到什么：

1.采集端Prometheus扩容问题，单集群中数据规模受Prometheus原生的限制。

2.一级监控平台上时序数据库influxdb有单点问题，数据规模和数据安全性受其影响。 Argus运维监控系统数据采集与业务分析 展现分离架构。网站智能化运维监控管理

Flow是一种数据交换方式，其工作原理是：

Flow利用标准的交换模式处理数据流的第1个IP包数据，生成Flow缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，Flow缓存同时包含了随后数据流的统计信息。

一个Flow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。

相对于会话(“Session”)而言，“Flow”具备更细致的标识特征，在传统的TCP/IP五元组的基础上增加了一些新的域值，至少包括以下几个字段：

|源IP地址|目的IP地址|源端口|目的端口|IP层协议类型|ToS服务类型（dscp）|输入物理端口（ifindex）|

以上七个字段可以唯1地确定任意一个数据包属于哪个特定的Flow。

换而言之，任何一个字段出现了差异都意味着一个新Flow的发生。对于Flow的分析展示同样也是要基于多维度的：

IP(目的与源)、port(目的与源)、业务、网络架构、城市、IDC等。

具体所需的维度依赖于自己的业务场景。Flow是厂商的私有协议，业界也有多种的Flow格式。例如CISCO、华为、juniper等等的主流厂商的Flow也是均有一定差异性与优劣的，常用的有NetFlow与SFlow。所以这部分的后台能力是需要有异构。 应用统一运维监控管理方案Argus运维监控大数据的提取与分析。

不管是网络设备，数据库，中间件，还是安全设备涉及的品牌以及同一厂家的版本都是繁多的，但是我们的Argus运维监控系统是都可以统一纳入监控的，可以说目前市面上的品牌我们都可以监控的到，能监控这么多的品牌一个是得益于自己本身多年的积累，还有就是我们可以自定义监控器，也就是说如果某个厂家新出了一款设备如果运维监控系统监控不到的话，咱们可以自定义一个适配的监控器来对他进行管理，而且以后再出现同类型的就可以直接监控了，非常的方便。

在发展“国内循环为主体、国内国际双循环互相促进的新发展格局”的关键时期，为了加强和完善国家创新体系建设，提升产业基础能力和产业链水平，在第十三届全国人大会常务委员会中修订通过了《中华人民共和国科学技术进步法》，明确表示优先采购国内信息技术创新产品。据《2021年中国信创生态研究报告》显示，未来在国家政策的推动下，中国信创行业发展潜力大，预计2025年市场规模将达8000亿元。

观纵始终走在自主研发的前沿，现在已经形成了从IT运维监控、电力运维到IoT运维的产业布局。作为在信创产业中持续耕耘的企业，目前观纵已经申报专利和产品软著，并获得ISO、ITSS、AIOps标准符合性、高新、知识产权管理体系、CMMI等多项认证，以及多家厂商对观纵信创产品的适配认证。 5个运维必须知道的运维监控系统，功能真心强大！

Zabbix 是 B/S 架构，抓取数据是通过客户端抓取的，在客户端必须有服务启动，该服务负责采集数据，数据会主动上报给服务端，也可让服务端连接客户端去抓取数据。客户端分为两种模式，即主动模式和被动模式。Argus运维监平台以 Zabbix 为基础，可同时兼容 不同版本的Zabbix，以 zabbix 为采集关键配合自研的 ArgusNMS 增强模块为一组采集单元， ArgusEdge 的统一调度实现监管控的需求。单一业务环境下可以支持多 组采集单元（多zabbix-server），实现真正意义上的分布式采集。 快来看看常用的运维监控必备知识！机房一体化运维监控平台

Argus支持自定义事件聚合规则， 贴合真实业务场景。网站智能化运维监控管理

IAAS层的监控从IAAS层的组成这个维度来说，可以分为一个个独一的资源对象来分类监控，针对每一类对象可以分别从状态、性能、容量、质量这几个维度描述，将不同的数据综合为开发与运维的统一视角。监控告警产品的建设是任重而道远的过程，坑也非常多。要考虑多种因素，技术后台能力只是其中的一部分。

例如在DevOps的文化下，需要从更高的层面来统一视角(开发视角&运维视角)避免将监控做成"开发的监控”与"运维的监控”。也需要更多的考虑监控产品使用的双态(用户态&系统态)与不同的权限(行业属性)如何分类设计。 网站智能化运维监控管理

上海观纵科技有限公司位于上海市奉贤区望园南路1288弄80号1904、1909室，是一家专业的一般项目:技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;软件开发;人工智能基础软件开发;人工智能应用软件开发;数据处理服务;信息技术咨询服务;信息系统集成服务:信息系统运行维护服务;计算机系统服务;软件销售;计算机软硬件及辅助设备批发;计算机软硬件及辅助设备零售;电子产品销售;通信设备销售;通讯设备销售;咨询策划服务;市场调查(不含涉外调查);广告制作;广告发布;广告设计、代理;会议及展览服务;货物进出口。(除依法须经批准的项目外，凭营业执照依法自主开展经营活动) 许可项目:建筑智能化系统设计;建设工程施工;网络文化经营;互联网信息服务。(依法须经批准的项目，经相关部门批准后方可开展经营活动，具体经营项目以相关部门批准文件或许可证件为准)公司。致力于创造***的产品与服务，以诚信、敬业、进取为宗旨，以建webfunny,walkingfunny,argus产品为目标，努力打造成为同行业中具有影响力的企业。我公司拥有强大的技术实力，多年来一直专注于一般项目:技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;软件开发;人工智能基础软件开发;人工智能应用软件开发;数据处理服务;信息技术咨询服务;信息系统集成服务:信息系统运行维护服务;计算机系统服务;软件销售;计算机软硬件及辅助设备批发;计算机软硬件及辅助设备零售;电子产品销售;通信设备销售;通讯设备销售;咨询策划服务;市场调查(不含涉外调查);广告制作;广告发布;广告设计、代理;会议及展览服务;货物进出口。(除依法须经批准的项目外，凭营业执照依法自主开展经营活动) 许可项目:建筑智能化系统设计;建设工程施工;网络文化经营;互联网信息服务。(依法须经批准的项目，经相关部门批准后方可开展经营活动，具体经营项目以相关部门批准文件或许可证件为准)的发展和创新，打造高指标产品和服务。自公司成立以来，一直秉承“以质量求生存，以信誉求发展”的经营理念，始终坚持以客户的需求和满意为重点，为客户提供良好的webfunny前端监控，webfunny前端埋点，全链路应用性能监控，Argus-IT运维监控，从而使公司不断发展壮大。