目录

chen 的个人博客

VX:ZzzChChen
Phone:13403656751
Email:zxydczzs@gmail.com

X

Hippo4j动态线程池监控接入

   
    0 0 zzzzchen

简单了解

线程池痛点

原文摘录

线程池是一张基于池化思想管理线程的工具，使用线程池可以减少创建销毁线程的开销，避免线程过多导致系统资源耗尽。在高并发以及大批量的任务处理场景，线程池的使用是必不可少的。

如果有在项目中实际使用线程池，相信你可能会遇到一下痛点

  • 线程池随便定义，线程资源过多，造成服务器高负载；
  • 线程池参数不易评估，随着业务的并发提升，业务面临出现故障的风险；
  • 线程池任务执行时间超过平均时间，开发人员无法感知；
  • 线程池任务堆积，触发拒绝策略，影响既有业务正常运行；
  • 当业务出现超时、熔断等问题时，因为没有监控，无法确定是不是线程池引起；
  • 原生线程池不支持运行时变量的传递，比如 MDC 上下文遇到线程池就 GC。
  • 无法执行优雅关闭，当项目关闭时，大量正在运行的线程池任务被丢弃；
  • 线程池运行中，任务执行停止，怀疑发生死锁或执行耗时操作，但是无从下手；

如果同学们有以上的问题或者疑问，接着往下看。

什么是 Hippo4j

原文摘录

Hippo4j 通过对 JDK 线程池增强，以及扩展三方框架底层线程池等功能，为业务系统提高线上运行保障能力。

提供一下功能支持

  • 全局管控 - 管理应用线程池实例；
  • 动态变更 - 应用运行时动态变成线程池参数，包括不限于：核心、最大线程数、阻塞队列容量、拒绝策略等。
  • 通知报警 - 内置四种报警通知策略，线程池活跃度、容量水位、拒绝策略以及任务执行时间超长；
  • 运行监控 - 实时查看线程池运行时数据，最近半小时线程池运行数据图表展示；
  • 功能扩展 - 支持线程池任务传递上下文，项目关闭时，支持等待线程池在指定时间内完成任务；
  • 多种模式 - 内置两种使用模式：依赖配置中心 和 无中间件依赖。
  • 容器管理 - Tomcat、Jetty、Undertow 容器线程池运行时查看和线程数变更；
  • 框架适配 - Dubbo、Hystrix、RabbitMQ、RocketMQ 等消费线程池运行时数据查看和线程数变更。

正文

采用源码编译以及无中间件依赖方式

一、拉取源码以及前期准备

源码地址
  1. github：https://github.com/opengoofy/hippo4j；
  2. gitee：https://gitee.com/opengoofy/hippo4j；
目录结构

directory.png

数据库录入（MySQL）
  1. 在 "/hippo4j-develop/hippo4j-server/hippo4j-bootstrap/conf" 目录下找到“hippo4j_manager.sql”并导入，导入后如图
    sqlconfig.png

二、服务端启动

配置更改

  1. 在" /hippo4j-develop/hippo4j-server/hippo4j-bootstrap/src/main/resources "下找到 “application.properties”文件，更改数据库用户名以及密码

    1spring.datasource.username=root
2spring.datasource.password=root

  2. 找到启动类后启动，位置：“/hippo4j-develop/hippo4j-server/hippo4j-bootstrap/src/main/java/cn/hippo4j/server/ServerApplication.java”

  3. 启动成功后网页打开"http://localhost:6691/index.html"，默认用户名、密码 admin 123456，启动后如图

    index.png

三、客户端启动

示例项目启动

  1. 启动“/hippo4j-develop/hippo4j-example/hippo4j-spring-boot-starter-example/src/main/java/cn/hippo4j/example/server/ServerExampleApplication.java”应用类；

  2. 默认项目已经帮你创建好了示例项目的租户、项目、线程池；

    1. Hippo4j 按照租户、项目、线程池的维度划分。举个例子，小编在一家公司的公共组件团队，团队中负责消息、短链接网关等项目。公共组件是租户，消息或短链接就是项目。

  3. 动态更新线程池参数：

    1. 动态线程池 — 线程池实例 — 选择对应的租户、项目以及线程池实例
      Snipaste20230413145645.png
    2. 编辑此线程池实例，可以修改各种参数，项目控制台输出更新日志及代表成功
      Snipaste20230413150916.png
实际项目使用（SpringBoot）

  1. pom 文件引入对应依赖

    1        <dependency>
2            <groupId>cn.hippo4j</groupId>
3            <artifactId>hippo4j-spring-boot-starter</artifactId>
4            <version>1.4.3-upgrade</version>
5        </dependency>

  2. 启动类加注解

    1@SpringBootApplication
2@EnableDynamicThreadPool
3public class DemoApplication {
4    public static void main(String[] args) {
5        SpringApplication.run(DemoApplication.class, args);
6    }
7}

  3. 线程池改造

     1package com.demo.config;
 2
 3import cn.hippo4j.core.executor.DynamicThreadPool;
 4import cn.hippo4j.core.executor.support.ThreadPoolBuilder;
 5import org.springframework.context.annotation.Bean;
 6import org.springframework.context.annotation.Configuration;
 7
 8import java.util.concurrent.ThreadPoolExecutor;
 9
10@Configuration
11public class ThreadPoolConfig {
12
13    @Bean
14    @DynamicThreadPool
15    public ThreadPoolExecutor messageConsumeDynamicExecutor() {
16        String threadPoolId = "message-consume-demo";
17        return ThreadPoolBuilder.builder()
18                .threadFactory(threadPoolId)
19                .threadPoolId(threadPoolId)
20                .dynamicPool()
21                .build();
22    }
23
24}

  4. 配置文件（yaml）

     1spring:
 2  profiles:
 3    active: dev
 4  application:
 5    # 服务端创建的项目 id 需要与 application.name 保持一致
 6    name: study-service
 7  dynamic:
 8    thread-pool:
 9      # 服务端地址
10      server-addr: http://localhost:6691
11      # 用户名
12      username: admin
13      # 密码
14      password: 123456
15      # 租户 id, 对应 tenant 表
16      namespace: demo
17      # 项目 id, 对应 item 表
18      item-id: study-service

  5. 服务端配置租户、项目以及线程池管理

    1. 租户可以使用已存在的，建议新建一个租户；
      Snipaste20230413152851.png
    2. 创建项目，选择租户，项目一栏需填写客户端的 application.name
      Snipaste20230413153048.png
    3. 动态线程池中创建线程池管理，选择租户、项目，线程池一栏填入客户端创建的线程池 threadpoolId
      Snipaste20230413153249.png

  6. 客户端项目启动

    1. 创建完成，启动客户端项目，启动日志输出
      Snipaste20230413153750.png

    2. 启动成功，查看服务端日志输出

      12023-04-13 15:39:11.192  INFO 20992 --- [er.long.polling] c.h.config.service.LongPollingService    : Dynamic Thread Pool Long pulling client count: 2

      这里的 count 代表客户端实例为两个，一个是示例项目，一个是实际项目

  7. 查看服务端网页，动态线程池 — 线程池实例，选择租户、项目、线程池后查询

    Snipaste20230413154253.png

  8. 至此已经监控到客户端的线程池实例，可在此页面动态更改线程池参数，线程池管理和线程池实例的区别

    1. 在线程池管理中修改线程池参数，客户端并不能实时感知并变更参数，需要重启客户端。而线程池实例中去对具体的实例修改参数时，客户端无需重启，可以试试感知到参数变化。如果二者针对同一线程池的参数配置不同，则在重启客户端时，客户端会去拉取线程池管理中的参数配置；
    2. 二者对应的定位：线程池管理中的配置是常态化配置，而线程池实例中的配置变成更像是一种临时修改，比如突发的流量激增等场景，并不具备普适性。
异常告警（企业微信）
  1. 先找个企微群，企业微信创建机器人，机器人创建教程（https://open.work.weixin.qq.com/help2/pc/14931?person_id=1&from=homesearch）；
  2. 机器人加入至群聊后，取机器人 Webhook 地址中的 key 值，图中红圈圈起来的马赛克部分，以及机器人的名字，创建机器人的时候会输入；
    Snipaste20230413160152.png
  3. 服务端异常告警通知配置
    Snipaste20230413155513.png
  4. 测试编辑线程池实例参数通知
    Snipaste20230413155654.png
  5. 测试动态线程池异常通知
    Snipaste20230413155747.png
  6. 其余平台通知请自行尝试，按照官网文档说明；
标题：Hippo4j动态线程池监控接入
作者：zzzzchen
地址：https://www.dczzs.com/articles/2023/04/12/1681288036887.html