介绍在本系列的前两篇文章中，我们描述了如何基于动态更新配置（欺诈检测规则）来实现灵活的数据流分区，以及如何利用 Flink 的 Broadcast 机制在运行时在相关算子之间分配处理配置。直接跟上我们上次讨论端到端解决方案的地方，在本篇文章中，我们将描述如何使用 Flink 的 "瑞士军刀" —— Process Function 来创建一个量身定制的实现，以满足你的流业务逻辑需求。我们的讨论将在
文章目录1. Flink API的抽象级别分析2. Flink DataStream常用API3. DataSource3.1 基于文件3.2 基于Socket3.3 基于集合3.4 自定义输入4. 自定义数据源4.1 自定义无并行度4.2 自定义有并行度 1. Flink API的抽象级别分析Flink中提供了4种不同层次的API：低级API：提供了对时间和状态的细粒度控制，简洁性和易用性较差
Flink 中窗口是很重要的一个功能，而窗口又经常配合触发器一起使用。Flink 自带的触发器大概有：CountTrigger： 指定条数触发
ContinuousEventTimeTrigger：指定事件时间触发
ContinuousProcessingTimeTrigger：指定处理时间触发
ProcessingTimeTrigger： 默认触发器，窗口结束触发
EventTimeTrig
转载
2023-09-28 11:29:21
77阅读
在Prometheus的报警系统中，是分为2个部分的， 规则是配置是在prometheus中的， prometheus组件完成报警推送给alertmanager的， alertmanager然后管理这些报警信息，包括静默、抑制、聚合和通过电子邮件、on-call通知系统和聊天平台等方法发送通知。
主要步骤如下：安装和部署alertmanager在prometheus中配置alertmanager的
转载
2023-11-03 11:24:24
140阅读
整理：李培殿 & 杨伟海（Flink 社区志愿者）校对：杨伟海（Flink 社区志愿者） 摘要：本文由美团点评研发工程师孙梦瑶分享，主要介绍 Flink 的指标监控和报警的内容，分为以下四部分：监控告警链路：基于美团点评实时计算平台的实践常用的监控项：哪些指标可以高效地衡量作业指标的聚合方式：横看成岭侧成峰指标监控的应用：有哪些常见的表达方式供参考为什么我们关注指标监控我们将以天气举例。
转载
2021-12-21 14:55:48
2620阅读
1、目标 通过安装配置Sentinal插件，实现当错误日志中出现“error”字符串时，就发送报警信息，并发送到钉钉的工作群中。让运维人员可以快速去排查系统问题，方便问题发现，提高系统用户体验。这里只是简单实现了出现“error”字符就报警，可以配置复杂的条件，实现更高级的报警条件。2、准备工作1、 钉钉机器人配置参考《自定义机器人webhook》，这里使用了markdown类型的消息格式。配置
为什么我们关注指标监控
我们将以天气举例。指标：衡量和描述对象的方式
可量化：比如最近天气很热。今天比昨天热吗？北京的温度比上海更热吗？大家就没有办法评判，所以温度就是这样一个指标，来量化我们天热的程度。
标准化：我们习惯说的温度是摄氏温度，如果有人跟你讲华氏温度，说今天77度，你就会觉得很奇怪，气温怎么会有这么高的数值，因此，我们的指标还需要是标准化的，需要有一个统一的标准。
多维度：
转载
2021-06-23 09:58:32
1561阅读
详解Flink指标、监控与告警孙梦瑶@美团点评Flink中文社区整理：李培殿&杨伟海（Flink社区志愿者）校对：杨伟海（Flink社区志愿者）摘要：本文由美团点评研发工程师孙梦瑶分享，主要介绍Flink的指标监控和报警的内容，分为以下四部分：监控告警链路：基于美团点评实时计算平台的实践常用的监控项：哪些指标可以高效地衡量作业指标的聚合方式：横看成岭侧成峰指标监控的应用：有哪些常见的表达方
原创
2021-02-05 14:41:59
924阅读
zabbix监控CPU超值则报警 由于默认没有 cpu 的使用率监控，需要添加一个监控项，通过 system.cpu.util[,,] 来进行配置 添加监控项 添加图形 添加触发器 展示图
原创
2022-05-10 23:58:52
1128阅读
1. 简介rabbitmq-management是RabbitMq web管理端，用的是erlang的cowboy框架进行开发。web页面包括Overview(概述)、Connections(连接)、Channels(通道)、Exchanges(交换器)、Queues(队列)、Admin(用户管理)。2. Overiview-概述2.1 overview->totals所有队列阻塞情况 Re
本文内容基于 k8s部署prometheus + grafana。process-exporter介绍：在 prometheus 中，process-exporter 可以用来检测所选进程的存活状态。
原创
2021-04-25 11:14:11
6239阅读
点赞
Prometheus监控Prometheus简介Prometheus是一套开源的系统监控报警框架。Prometheus作为新一代的云原生监控系统，相比传统监控监控系统（Nagios或者Zabbix）拥有如下优点易管理性 Prometheus: Prometheus核心部分只有一个单独的二进制文件，可直接在本地工作，不依赖于分布式存储。 Nagios: 需要有专业的人员进行安装，配置和管理，并且过程
转载
2023-08-01 16:57:10
541阅读
目录 检查点：启用和配置检查点：相关的配置选项：选择状态后台：迭代作业中的状态检查点：重启策略：检查点：检查点通过允许恢复状态和相应的流位置使Flink中的状态容错，从而为引用程序提供无故障执行相同的语义。--Flink中每个函数和运算符都是有状态的(有关详细信息，请参阅state)。有状态函数在各个元素/事件处理中存储数据，使状态成为任何类型的复杂操作的关键构件块。为了使状态容错，Fl
本文记录我在使用flink过程中遇到的部分问题，后续遇到别的问题也在这里更新，文章长期更新。1.内存问题导致被yarn/k8s杀掉这种问题基本都是因为物理内存或者虚拟内存超过被yarn杀掉，可以看到如下日志:虚拟内存超标如果是虚拟内存超过了需要改yarn配置即可，比如设置yarn.nodemanager.vmem-check-enabled为false关闭虚拟内存检测或者增加yarn.nodema
公司的应用程序有时候会莫名其妙地挂掉，如果我们经常去登录服务器看是不是程序挂了，挂了再拉起，那样是非常耗时和麻烦的事情。后来我们通过使用supervisor去守护启动，实现方法如下：那什么是supervisor了？Supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它可以很方便地监听、启动、停止、重
推荐
原创
2020-10-27 11:42:19
9702阅读
## 如何实现Prometheus监控Redis集群并设置告警
本文将指导你如何使用Prometheus监控Redis集群，并配置告警。整个流程分为几个步骤，下面先列出这些步骤的概述。
### 监控Redis集群的实现步骤
| 步骤 | 描述 |
|-------------------|----
1、概述1）需求业务需求：同一个账户ID在一分钟内存在连续的两笔交易，一笔小于1元，一笔大于500元，则判断为欺诈行为2）实现1.输入：使用事件时间，从socket获取输入数据：id,timestamp,price；2.转换：转换为pojo类，按照id进行keyBy后调用keyedProcessFunction,如果上一笔交易小于1元，将状态置为true判断同ID的下一笔交易，如果大于500元则输
Why现在对于企业来说，HTTPS 已经不是可选项，已经成为一个必选项。HTTPS 协议采用 SSL 协议，采用公开密钥的技术，提供了一套 TCP/IP 传输层数据加密的机制。SSL 证书是一种遵守 SSL 协议的服务器数字证书，一般是由权威机构颁发给网站的可信凭证。SSL 证书是有过期时间的限制的，从 2020 年的 9 月以后，权威机构颁发的 SSL 证书的最长有效期被限制在 398 天以内，
open falcon 监控系统目前有上百家互联网公司都在不同程度的使用，具有很多优点： 强大灵活的数据采集：自动发现，支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持、opentsdb data model like（timestamp、endpoint、metric、key-value tags）水平扩展能力：支持每个周期上亿次的数据采集、告警判定、历史数据存储
zabbix4.0学习五：Zabbix监控邮箱发送设置 文章目录zabbix4.0学习五：Zabbix监控邮箱发送设置前言配置centos安装mailx配置zabbix用户与报警媒介绑定 前言zabbix里报警媒介里通用的是邮箱和短信，这里面更常用的是邮件，所以这里记录一下zabbix里邮件的配置。 centos自带的sendmail(若需要，可参考安装centos7使用sendmail发送邮件)
