JAVA - 随心笔记

阿里云实时数仓

前言使用阿里云现有的产品生态体系，可以解决企业自建集群复杂，难维护，部署成本高的问题。基于这些情况我们可以使用目前阿里云已有的产品进行开通，来满足企业业务需求。目前面临痛点 1、底层数据库无法承载海量数据，根据后续企业发展，10T，100T，以及PB，EB数据量无法承载，以及无法支撑快速查询响应，数据分析以及数据挖掘等工作。 2、实时计算性能存在一定不足，需要通过可靠计算引擎进行毫秒级实时计算，并且数据质量可靠，可控，可遥测。 3、数据模型调整效率不够快速，不能够非常灵活的调整数据模型结构，快速的提供业务场景报表需求。应用场景 * 基于Flink和规则引擎的实时风控解决方案 * 基于实时计算（Flink）与高斯模型构建实时异常检测系统 * 基于实时计算（Flink）打造一个简单的实时推荐系统实时数仓总体数据开发流程数据拉取->数据缓冲->实时计算->下沉落库组件选型 Flink 阿里云实时计算 Flink 版阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统，由Apache Fl

Canal 组件

前言 Canal是一款开源的数据准实时复制（CDC）组件目前市面上常见的CDC组件有：Canal、Debezium、Flink CDC 目前他们的工作机制大致都相同，均是通过解析数据库Binlog日志来得出具体数据的变更信息与操作类型。目前Canal的作用场景，作为实时数据同步工具，同步数据库数据，或把数据变更信息投递到MQ队列中。 Canal 目前只支持MySQL数据库。5.x 8.x 版本。 GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件阿里巴巴 MySQL binlog 增量订阅&消费组件 . Contribute to alibaba/canal development by creating an account on GitHub.GitHubalibaba 在高可用方面，Canal目前提供了集群方式，通过每个Service节点管理不同的同步任务实例进行任务的分发。

架构设计原则

可扩展性系统设计应该具备良好的可扩展性，能够支持未来的业务增长和需求变化。设计应该考虑到系统的模块化和分层架构，以便于添加新功能、处理更大的数据量和支持更多的用户。可靠性系统设计应该具备高可靠性，能够保证系统的稳定性和可用性。设计应该考虑到故障恢复机制、容错处理和备份策略，以便在系统发生故障时能够快速恢复并保证业务的连续性。并且高可用的架构需要具备：自动侦测、自动修复、自动切换。极致性能系统设计应该具备高性能，能够快速响应用户请求并处理大量的并发操作。设计应该考虑到合理的数据结构和算法选择、缓存策略、负载均衡和并发控制等，以提升系统的性能和吞吐量。系统的性能由TPS决定，跟并发用户数没有多大关系。系统的最大TPS是一定的(在一个范围内)但并发用户数不一定，可以调整。建议性能测试的时候，不要设置过长的思考时间，以最坏的情况下对服务器施压。一般情况下，大型系统 (业务量大、机器多做压力测试，10000~50000个用户并发,中小型系统做压力测试，5000个用户并发比较常见。吞吐量 (TPS) = 并发数/平均响应时间安全性系统设计应该具备高安全

防重复提交

使用Token令牌机制可以有效地防止CSRF攻击和重复提交。在提交表单时，服务器会生成一个Token令牌，并将其存储在Redis中。然后，将这个Token令牌作为表单的一个隐藏字段或URL参数传递给客户端。客户端提交表单时，将这个Token令牌一并提交给服务器。服务器在处理表单时，会检查这个Token令牌是否正确，并在处理完表单后删除这个Token令牌。这种方式可以有效地防止重复提交和CSRF攻击，但是需要注意保护Token令牌的安全性，否则可能会被攻击者利用。 Token令牌机制是一种常用的Web应用程序防止重复提交和CSRF攻击的方法。它的基本思想是在每次提交表单时，服务器会生成一个Token令牌，并将其存储在Redis中。然后，将这个Token令牌作为表单的一个隐藏字段或URL参数传递给客户端。客户端提交表单时，将这个Token令牌一并提交给服务器。服务器在处理表单时，会检查这个Token令牌是否正确，并在处理完表单后删除这个Token令牌。 Token令牌机制的实现步骤如下：在服务器端生成一个Token令牌，并将其存储在Redis中。Token令牌可以使用随机数、UUI

数据结构：栈

栈(Stack)是一种先进后出(LIFO)的数据结构，它只允许在栈顶进行插入和删除操作。栈可以用数组或链表来实现。在栈中，插入和删除操作通常称为入栈(push)和出栈(pop)。当插入一个元素时，它被放置在栈顶，当删除一个元素时，它是从栈顶删除的。栈顶是栈中最新添加的元素，栈底是栈中最早添加的元素。栈的应用非常广泛，例如，计算机中的函数调用和递归调用都是通过栈来实现的。当一个函数被调用时，它的参数、返回地址和局部变量等信息被压入栈中，当函数返回时，这些信息又从栈中弹出。以下是栈的基本操作： push(element)：将一个元素压入栈顶。 pop()：从栈顶弹出一个元素。 top()：返回栈顶元素，但不对栈进行修改。 isEmpty()：判断栈是否为空。 size()：返回栈中元素的个数。栈的时间复杂度为O(1)，因为所有操作都是在栈顶进行的。但是，栈的空间复杂度为O(n)，因为需要存储所有元素。在计算机中，栈(Stack)被广泛应用于函数调用、

Idea 默认快捷键

记录一下Idea默认的快捷键，更方便提高开发效率。

线程池核心线程数-计算方式

线程池的工况一般分为三种场景：计算密集型需要大量的计算，对 CPU 高占用率，CPU Loading 90-100%，除开 CPU需要读/写I/O(硬盘/内存)，但这些 I/O 只需要很短的时间就可以完成，更多的是 CPU 需要进行很多数据运算，数学运算，CPU Loading 很高的场景。例如数据分析，数据流处理，此类程序运行的过程中，CPU占用率一般都很高。假如在单核CPU情况下，线程池有6个线程，但是由于是单核CPU，所以同一时间只能运行一个线程，考虑到线程之间还有上下文切换的时间消耗，还不如单个线程执行高效。所以，单核 CPU 处理计算密集型程序，就不要使用多线程了。假如是6个核心的CPU，设置6个线程数，理论上运行速度可以提升6倍（但实际上达不到，多线程之间有并发以及需要优化的地方）。每个线程都有 CPU 来运行，并不会发生等待

JVM 线程池扩容机制

在 HotSpot VM 的线程模型中，Java 线程被一对一映射为内核线程（JDK19后已经引入携程 UT）。及一个 LWP 线程对应操作系统内核中的 KLT，Java 在使用线程执行程序时，需要调用操作系统内核的 API，创建一个内核线程，操作系统要为线程分配一系列的资源，当该 Java 线程被终止时，这个内核线程也会被回收。因此 Java 线程的创建与销毁的成本很高，会增加系统的性能开销。并且线程也不能创建太多，因为CPU切换线程去执行指令时需要处理对应上下文信息。大量的线程将会导致CPU的性能存在一定损耗。毕竟我们CPU的核心数是有限的，如果我们无限制地创建线程还可能导致 OOM。故此我们主要来看 ThreadPoolExecutor 类的参数： int corePoolSize [核心线程数] int maximumPoolSize [最大线程数] long keepAliveTime [存活时间] TimeUnit unit [时间单位] BlockingQueue workQueue

HTTP 协议发展史

HTTP 是浏览器与服务端之间最主要的通信协议，HTTP 是应用层协议（7层），应用层产生的数据会通过传输层协议作为载体来传输到互联网上的其他主机中，而其中的载体就是 TCP 协议（3.0使用UDP），基于 TCP 协议进行连接，然后传输对应内容信息。 20 世纪 60 年代，美国国防部高等研究计划署（ARPA）建立了 ARPA 网，这被认为是互联网的起源。70 年代，研究人员基于对 ARPA 网的实践和思考，发明出了著名的 TCP/IP 协议。该协议具有良好的分层结构和稳定的性能，并在 80 年代中期进入了 UNIX 系统内核，促使更多的计算机接入了网络。 1989 年，蒂姆伯纳斯-李博士发表了一篇论文，提出了在互联网上构建超链接文档系统的构想。在篇文章中他确立了三项关键技术：URI、HTML、HTTP。基于这三项技术，

布隆过滤器详解

背景介绍布隆过滤器（Bloom Filter）是1970年由布隆提出的，它实际上是由一个很长的二进制向量和一系列随意映射函数组成。布隆过滤器使用场景一般是防止redis缓存穿透，使用布隆过滤器可以更好的节省空间，并且快速定位元素是否存在。布隆过滤器通过 hash key 来定位位图（Bitmap，其实就是bit数组）中对应的下标，并且在这个数组中每一个位置只有0和1两种状态，每个位置只占用1个字节，其中0表示没有元素存在，1表示有元素存在。注意：两个不同的key哈希出来所对应的下标位可能存在部分重复，这样可以减少内存的占用，但也有概率会出现哈希碰撞，原本不存在的key哈希之后位图中都为1的情况。所以通过上面的现象，我们从布隆过滤器的角度可以得出布隆过滤器主要有2大特点： 1、如果布隆过滤器判断一个元素存在，那么这个元素可能存在。 2、如果布隆过滤器判断一个元素不存在，那么这个元素一定不存在。因为布隆过滤器中总是会存在误判率，因为哈希碰撞是不可能百分百避免的。布隆过滤器对这种误判率称之为假阳性概率，即：False Positive Probability，简称为