7层网络协议

1、物理层: 解决两个硬件之间怎么通信的问题,常见的物理媒介有光纤、电缆、中继器等。它主要定义物理设备标准,如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等。 它的主要作用是传输比特流(就是由1、0转化为电流强弱来进行传输,到达目的地后在转化为1、0,也就是我们常说的数模转换与模数转换)。这一层的数据叫做比特。 2、数据链路层: 在计算机网络中由于各种干扰的存在,物理链路是不可靠的。该层的主要功能就是:通过各种控制协议,将有差错的物理信道变为无差错的、能可靠传输数据帧的数据链路。 它的具体工作是接收来自物理层的位流形式的数据,并封装成帧,传送到上一层;同样,也将来自上层的数据帧,拆装为位流形式的数据转发到物理层。这一层的数据叫做帧。 3、网络层: 计算机网络中如果有多台计算机,怎么找到要发的那台?如果中间有多个节点,怎么选择路径?这就是路由要做的事。 该层的主要任务就是:通过路由选择算法,为报文(该层的数据单位,由上一层数据打包而来)通过通信子网选择最适当的路径。这一层定义的是IP地址,通过IP地址寻址,所以产生了IP协议。 4、传输层:
3 min read

Zookeeper 集群搭建

部署环境 操作系统 Debian 11.5.0 运行环境 OpenJDK-1.8.0_332 64-Bit Server VM Zookeeper版本:3.8.0 官方介绍 Zookeeper官方文档地址(下载的zip压缩包中\docs目录也自带文档):ZooKeeper: Because Coordinating Distributed Systems is a Zoo (apache.org) ZooKeeper 是一种用于分布式应用程序的分布式开源协调服务。它公开了一组简单的基元,分布式应用程序可以基于这些基元来实现更高级别的同步、配置维护以及组和命名服务。它被设计为易于编程,并使用根据文件系统熟悉的目录树结构设置样式的数据模型。它以 Java 运行,并具有 Java 和 C 的绑定。 ZooKeeper 的实施非常重视高性能、高可用性、
11 min read

K3S 集群搭建

最近学习了K8S集群的部署,期间使用了很多的部署方式,例如官方给出的 kubeadm [https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/] 工具,青云的KK工具一键部署,也有github上开源免费或收费的一键部署工具,都尝试过,但最后选择了K3S-up [https://github.com/alexellis/k3sup] 来进行集群的部署。 相对于K8S来说,K3S系统容器数量少,轻量级,并且默认使用 containerd 作为容器运行时,内部的 ingress 使用的是 go 语言开发的 traefik,集成了SQLite 代替 Etcd,但在多个master节点中最好使用 Etcd 组件,来保证数据一致性,从而可以HA。 本次搭建选用阿里云6台共享性服务器。 3台master(2核4g) 3台worker(2核4g) 并搭建
3 min read

Jenkins自动化发布

前言 记录一下最近配置Jenkins的发布流程的部分步骤 整体流程:使用 Jenkins 进行线上发布并打包docker镜像上传至私有docker镜像仓库、并配置 docker login 线上推送/拉取镜像发布运行。 安装docker 拉取 Jenkins 镜像就不再描述,有很多现成的文章。 插件集成 配置并安装maven、jdk、git、nodeJs、docker等基本组件 安装对应各种支持插件、如gitlab。 nodejs 插件前端发布使用 连接远程服务端并执行命令插件 创建流水线任务 创建任务、并配置任务各个环节执行命令与使用组件  首先配置拉取git库地址与项目代码  后续替换源码中的环境值、如dev环境替换为pro nacos 连接地址与命令空间等  我使用的是最简单的sed -i 命令,该命令可以匹配正则表达式从而替换文本字符串。 资源打包与推送    使用maven 进行jdk build,构建项目jar包  打包完成之后使用shell命令把target包下的jar包cp到对应docker-compose文件下,此处需要提前写好d
3 min read

Java 逻辑引擎的构思

在工作中多年之后,深知设计模式的重要性,设计模式的合理使用可以让我们复杂的业务逻辑实现得更加的灵活,更好的支持多态性,易扩展,易维护等好处。 那么可不可以设计一款专门为后端java开发人员量身定制一款本身就具备了设计模式的UI逻辑引擎。开发人员只需要进行逻辑组件的组合,然后再双击组件书写SQL或JAVA代码,把组件的成员变量进行传递,并最终入库。 原理类似于目前的kettle工具。 如果有这样的逻辑引擎我们java开发势必能够大幅度减少工作量。 其中的灵感来至于我在工作中使用的,工厂模式,代理模式,策略模式,装饰模式与SPI构思思想组合而成的。 通过UI组件生成的配置文件,告诉代理策略类,调用其中对应组件逻辑单元.class文件。在系统启动时加载所有的逻辑策略,确保spring bean都可以正常加载入内存。 后续执行全部通过代理策略类进行逻辑处理。组装每一个单独的bean,从而完成一个复杂的业务逻辑。 这样的的实现也符合单一职责原则与开闭原则。 可能在目前市场上对应的项目就是低代码平台或者零代码平台了吧。
2 min read

Kettle工具使用

最近使用了Kettle这款ETL工具、对于多数据源进行数据之间的同步,迁移,转换,修正等功能进行了解与使用。 Kettle-水壶、顾名思义就是把各种数据源中的表数据都当做水流、从多个水流汇总、分流、解析的工具。它是一款开源的数据集成工具,它提供了丰富的数据处理功能,包括数据抽取、转换和加载(ETL)等。Kettle的核心是一个基于图形化界面的设计工具,用户可以通过简单的拖拽和连接操作来构建数据处理流程。Kettle还提供了强大的数据处理引擎,支持多线程和分布式处理,可以高效地处理大规模数据。同时,Kettle还支持多种数据来源和目标,包括关系型数据库、文件、Web服务等,可以方便地与各种数据源进行集成。Kettle还提供了丰富的插件机制,用户可以自定义开发插件,扩展Kettle的功能。总之,Kettle是一款功能强大、易用性好、可扩展性强的数据集成工具,广泛应用于数据仓库、商业智能、数据分析等领域。 无需任何编程、只需要手动拖动配置组件。即可完成复杂的数据处理功能。Kettle对于CDC层面来说,是基于查询的方式进行数据的读取与转换,适合一次性的数据迁移与转换。不能用于实时性要求较
3 min read

IntelliJ IDEA 2020 JRebel破解

IDEA 安装好最新版的JRebel之后。 点击激活页面 选择在线服务器授权激活。 输入服务器授权URL地址 URL地址为:https://jrebel.qekang.com/ [https://jrebel.qekang.com/5d45985a-26e1-4172-95ad-e75e551605a2]{GUID} 其中的GUID需要生成(生成地址): Generate GUIDs onlineGuidGen - webbased tool for generating GUIDs. [https://www.guidgen.com/]进入网站后生成GUID之后填写入URL地址中。 勾选同意协议,点击激活。 至此JRebel破解成功。
1 min read

MySQL 事物死锁解析

在使用mysql数据库中,随着我们业务与功能模块的增加、数据库的事物数量会随之上升。在开发业务功能的场景中我们会经常开启事物操作数据,或者开启分布式全局事物操作数据时、事物过多,在并发进行的场景中往往会有几率产生事物死锁问题。 那么我们来分析一下事物死锁产生的原因: 两个 session 连接:一个session持有T1事物,另外一个session持有T2事物。 1.T1事物修改rows1 2.T2事物修改rows2 3.T2事物修改rows1 4.T2等待T1释放rows1的x锁 5.T1事物修改Rows2 6.T1等待T2释放rows2的x锁 7.相互等待死锁 死锁在没有外力的干扰下,程序本身无力解决此问题。 必须借助人为或者另外的守护线程来解决此死锁问题。 解决死锁的方法也很简单:释放其中一个事物,让其回滚即可。 但回滚有一个问题,回滚哪个事物更合理,mysql采用的是根据undo log 中谁的条数更多,谁的权重越大,则舍弃权重更小的事物进行回滚,可以更好解决事物死锁。让其回滚的数据量尽量减少,以减少服务的性能牺牲。 系统中任何一个事务发生死锁的概率
3 min read

开发IDEA插件记录

之前一直在使用一款插件叫 mybatis log plugin,它里面的 sql log 参数补全这个功能我比较喜欢,之前低版本好像并没有进行收费,但高版本之后它开始收费了。于是我打算自己开发一个类似的功能插件,取名叫 mybatis log analysis , 1.0.0版本的话首先会完成sql log 解析并自动参数补全,sql美化等简单功能。 之后待时间充裕之后将会把其他的使用功能也开发出来,如xml java 链接跳转,一键生成 controller,service,entity,mapper,xml等功能点。 目前已经开发完成1.0.0版本 并提交到了 IDEA PLUGIN 库中。 在开发插件的时候,简单的功能实现起来很简单, 但想要实现比较复杂的功能就必须要对IDEA 提供的API 等方法有个比较深层次的了解,可是我在官方插件文档上并没有找到比较完善的API 文档。只有一些官方给出的demo代码。这样的话就不得不花点时间去看demo代码并阅读理解才行。感觉会将是一个不太友好的学习曲线。 贴上已经开发出来的插件地址:https:
1 min read

近几年的工作心得

前言 不知不觉已经在互联网行业工作了几年。 回想刚开始学习技术的时候,每天都在写各种 Demo 项目。从最简单的 Hello World,到小游戏、爬虫程序、后台管理系统,每掌握一项新技术都会带来明显的成就感。那段时间学习速度很快,也充满了热情。 随着时间推移,也逐渐意识到互联网行业一个很明显的特点: 门槛不算特别高,但技术的天花板却非常高。 技术世界的知识量极其庞大,当你学得越多,反而越会意识到自己知道的其实很有限。很多时候,我们只是站在巨人的肩膀上,看着更高的巨人。 技术成长的早期阶段 在技术成长的早期阶段,大多数人都会通过几种方式来提升自己,例如学习新的技术框架、模仿优秀项目、阅读技术文章,以及不断搭建各种 Demo 项目。 尤其是在开源社区中,经常可以看到很多优秀的设计思想、架构模式和高质量的项目代码。通过阅读这些项目,可以快速理解很多工程实践。 不过,如果想真正提升技术能力,有一个非常重要的过程: 独立完成一个完整的系统项目。 从系统设计、编码实现,到部署上线和后期维护,这整个过程会让人对软件开发有更深入的理解。当第一次独立设计系统架构,并成功让系统稳
6 min read

分布式锁与 Spring 事物管理顺序问题

这个是网上的网友提问,我给他推理并解决了他的问题。故此记录一下 。 他在使用zookeeper的临时顺序节点分布式锁来修改mysql中的数据值,此功能类似于售票机制,高并发下,要求售票数量保持一致。不可以数量多或少。 使用zookeeper的临时顺序节点分布式锁的时候,他锁住service层时,执行完整个service方法时,锁释放,但此时方式上标注的spring 管理的声明式事物却还未提交。这样的场景在并发情况下会导致数据问题。 理所当然他的数据库中数据会出现异常情况。100个线程同时执行1次一次拿1张,100张票应该为剩余0,而他的结果却并不是0,没有达到预期值。 原理是:第一个线程执行update方法结束之后,但由于事物还未提交完成。分布式锁却已经先一步释放,下一个线程执行此方法时 select 获取的还是update之前的脏读数据。导致数据出现问题。因为spring声明式事物@Transactional(rollbackFor = Exception.class) 是基于aop,方法执行完成之后的再执行的环绕通知,但环绕通知提交事务时,zookeeper的锁却已经释放
2 min read

Java后台架构理解

最近自己搭建了一些系统架构,因此整理了一下对于后台架构的一些理解和思考。 在实际开发中,我们经常会思考:什么样的项目结构才算是一个合理的架构? 有人认为,一个好的架构应该能够: * 减少开发人员的重复工作 * 结构清晰,易于理解 * 具备良好的稳定性 * 方便扩展与维护 但实际上,这只是项目层面的架构。 随着业务的发展,系统往往会从单机项目逐渐演进为集群架构,最终发展为分布式系统。在这个过程中,会不断引入各种组件,例如: * 注册中心 * 配置中心 * API网关 * 服务熔断与降级 * 分库分表 * 容灾机制 * 各种中间件 同时系统部署也会逐渐演进为 Docker + K8S 的容器化体系。 服务器数量也可能从最初的一两台,逐渐增长到几十台甚至上百台。此时系统已经不再是简单的项目,而是一个完整的 系统架构体系。 架构设计既包含宏观层面的系统设计,也包含微观层面的代码设计。 代码层面的架构设计 在代码层面,架构设计需要统一开发规范,并提高开发效率。 例如: * DTO 自动参数校验(AOP) * Result 统一返回对象 *
6 min read

Java远程桌面实现

突发奇想,使用java是否可以实现远程共享桌面的功能呢? 当然可以了,都是跑代码,但是java效率比较低,为啥,也不是因为java代码执行效率低下,而是因为出于Java自带的屏幕截屏工具效率过低,java提供了robot类来实现桌面截屏,2k屏幕一张jpg大小在200kb左右,一张截图我使用的rx2700x cpu 一张截图竟然需要30毫秒 距离1秒30帧率还是差距有的,更别提1秒60帧率。就算如果1秒60帧率 如何使用 java 高效的传输到各个远程端呢 ? 有人会说使用多线程截图,来提高帧率,这样的做法,我个人觉得不太科学,为啥?因为占用太高cpu资源,应该寻找高效并占用cpu资源较少的方法。 并且图片传输不可取,因为一张图片太大 ,200kb,1s 30张就是 6000kb 严重占用带宽。 最好的方式使用视频流,使用开源的h.264视频格式,还有更好的h.265 但是我并没有找到对应的开源jar。h.265技术还处于收费阶段。h.264视频格式 为根据每一帧中的像素点变化来记录其数据。而不需要记录整个图片中绝大部分像素信息。所以h.264格式的视频体积远远小于图片传输的数
2 min read

MySQL 亿级数据导出excel文档

前言 公司SaaS系统需要给用户提供列表数据导出 excel 文档的功能。 但有的公司的列表数据如财务流水已经高达千万,亿级别,对于这样的数据导出,我们需要提出一个解决方案。不然在月底几百家公司进行导出excel,将会导致mysql QPS急剧上升,服务器cpu,ram,瞬间到达报警阀门。大批量导出可能会导致服务器不可用甚至面临宕机(提示:对于财务等敏感数据,需要做文件加密或者临时文件授权下载操作)。 具体方案 方案的出发点:大批量导出,不能影响正常业务运行。 单独部署一个数据库从库节点进行查询压力分担,再单独部署多组服务器跑上Springboot项目作为MQ的消费者集群,所有的导出请求均请求至MQ队列中,Springboot会采用拉模式主动拉取MQ队列中的导出Excel任务消息进行执行,合理的使用了MQ的削峰填谷以及异步功能。并在SpringBoot项目中严格分配线程池资源。 具体的任务消费者通过亿级分页方案分批量查询mysql列表数据,并使用ali easy excel api进行数据硬盘落盘,完成输出后上传oss(也可以使用oss内网流传输,直接传到oss文件系统中
4 min read

MySQL 亿级数据分页

随着公司业务增大,数据量也是随之剧增。MySQL作为一款社区免费开源数据库。想要用它做几百万的数据分页。光靠limit是不靠谱的。当然不是诋毁mysql,mysql作为开源插拔式存储引擎数据库,已经是可以满足绝大部分的应用场景需求。使用mysql管理100tb也不是问题。但是使用方式却是一个问题。 limit接受一个或两个数字参数。参数必须是一个整数常量。如果给定两个参数,第一个参数指定第一个返回记录行的偏移量,第二个参数指定返回记录行的最大数目。 limit在偏移量小于10w时性能还勉强可以接受,但随着偏移量越来越大,性能急剧下降。 公司单表账务数据已经到达230w ,做分页limt  来查询最后一页的数据,怕是没有个20秒是查询不出来的。当然具体的时间也要根据是否有索引,字段数量,数据内容而定,查询条件而定。 为了解决分页效率问题,我采用方案是: select id from table limit 100000,20 (带上where条件作为子查询) 由于主键id原本就是主键索引,所以limit的速度效率很高。并把条件字段加入复合索引,效率才会有质量的提升 。 但如
3 min read

浅谈logo设计

在企业没有声望的时候,建立一个logo,给予人们一定的标识性认知,一但企业知名度高了,就可以很好的把图形映射到人们的记忆中,加强企业知名度,可谓是锦上添花。 让人们通过图形记忆来记住公司形象品牌。但记住一定要注册商标、著作权,不然会有侵权的情况,而注册商标也是为了更好的保护公司企业形象。 那么为了设计出人们比较容易记住的图形logo, 这里面涉及到的东西可就比较多了。毕竟还有专业的视觉设计师职位,而logo为了让人的眼球看过去色彩更舒适,更亲近人,看着会有一种放松的感觉,显示出公司特色,容易记忆,这样的logo往往光是设计的费用就高达几十万元。 logo的设计要从公司的企业文化,企业提供的服务角度出发,简单易懂点就是,公司是干嘛的,公司需要的是复古还是年轻充满活力的? 对于一家科技企业,互联网企业来讲,年轻充满活力是必不可少的,颜色可以选择多样化一点,但总体颜色不能太多,略显花哨,适量控制颜色种类,颜色应该略淡,色彩饱满度不可太高,饱满度太高,会让人看着不够放松,越看心情越急躁。 图形形状,这个就得根据公司做的是什么业务和公司想要的是字体图形,还是比较抽象一点的图形。 但互
2 min read

关于使用ELK的记录

最近因为公司系统项目统计压力大 。mysql集群查询进入瓶颈,索引优化也不能快速响应统计结果,于是接入 Elasticsearch、Logstash、Kibana 三大开源套餐。 https://www.elastic.co/cn/ 关于  Logstash 其实还可以使用ali DataX 也是可以的 功能比 Logstash 还要更上一层楼。我采用的还是Logstash,因为ali DataX 我是后面才知道的,所以就没有去替换掉了。 通过 Logstash抓取过滤mysql统计数据,增量同步到Elasticsearch中。 再通过项目java api 调用 Elasticsearch查询; Kibana 可以web可视化集群,索引具体情况。 Elasticsearch查询语句挺简单,但是感觉官网的例子不是很多,很多比较复杂的聚合需要自己摸索。 整个学习难度不是很高。入手很快 java api jar 使用的是 elasticsearch-rest-high-level-client 之后再根据业务场景自己封装了一下工厂,抽象了几层代码给开发人员使用。 api
4 min read

博客从香港迁移到阿里云服务器

以前使用香港服务器4h 4g 90g 5m 150元/月感觉略贵。 就趁着双11阿里云活动买了一台 2h 8g 40g 5m 的国内云服务,3年1399元。确实很便宜一个月算下来38元左右。还是5m宽带,已经可以支持一些小型企业的需求。 就把博客迁移到了国内,由于原来是用的docker,所以这次很快得就部署过来,数据卷什么的都一并迁移。但是由于国内服务器映射域名需要备案,于是去完善了备案信息。审核花了大概6天的时间。 这次在迁移的时候,顺便优化了ssl免费证书Let's Encrypt,用docker certbot部署了自动续签功能,这样ssl证书就算是永久免费了,基本可以放着不用管了。 这台服务器因为还是有8g的内存,我会启动一些自己写的服务。以便给我的demo App提供后台支持。而且https和备案都做好了,也可以写一些个人微信小程序也不是不可以的。 话说以前香港服务器在部署docker时各种神奇的现象,在阿里云里面从未出现过,一帆风顺。想那个时候因为不支持docker的最新存储格式,我还得重新格式化硬盘,改变存储格式。 阿里云还是可以的。虽然有时候感觉网络波动蛮大
2 min read

Vue 浅探

Vue.js 是一个渐进式 JavaScript 框架,用于构建用户界面。它的核心库只关注视图层,可以很容易地与其他库或现有项目集成。Vue.js 采用了 MVVM 模式,通过双向数据绑定将视图和数据同步起来,使得开发者可以更加方便地管理数据和视图。 Vue.js - The Progressive JavaScript Framework | Vue.jsVue.js - The Progressive JavaScript FrameworkVue.js Vue.js 的特点: 双向数据绑定:Vue.js 通过双向数据绑定来实现数据和视图的自动同步更新,使得开发者可以更加方便地管理数据和视图。 组件化开发:Vue.js 支持组件化开发,可以将一个页面拆分成多个独立的组件,每个组件都有自己的数据和视图,可以方便地复用和维护。 轻量级易上手:Vue.js 的
3 min read

接触 Flutter

Flutter是一款开源的移动应用开发框架,由Google开发和维护。Flutter采用Dart语言编写,具有高效的渲染引擎、丰富的组件库和快速的开发周期,可以用于构建高质量、跨平台的移动应用程序。 Flutter的渲染引擎采用Skia图形库,可以实现高质量、高性能的绘图和动画效果。Flutter的组件库包含丰富的UI组件,可以轻松创建各种样式的应用程序,并支持自定义组件的开发。Flutter还提供了丰富的API和工具,支持快速的开发周期和高效的调试。 Flutter: 为所有屏幕创造精彩Flutter 官方文档中文版,包含 SDK 下载、最新特性介绍、代码示例、开发文档、中文社区等内容。Flutter Flutter的跨平台特性也是其最大的优势之一,可以同时为Android和iOS开发应用程序,而且开发的应用程序可以在不同的平台上实现相同的用户体验。Flutter还支持Web和桌面应用程序的开发,可以为不同的应用场景提供解决方案。 Flutter采用Dart语言作为开发语言,Dart是一种面向对象、静态类型的语言,具有强大的类型推断和异步编程支持,可以提高开发效率和代码质量。
2 min read

随心笔记

技术无止境 创新不停驻