分布式锁
分布式锁在叙述分布式锁前，先对锁的原理进行理解。如何避免竞争条件两个或多个进程读写某些共享数据，而最后的结果取决于进程运行的精确时序，称为竞争条件。——《现代操作系统》而锁正是避免竞争条件的解决方案之一。再列出《现代操作系统》一书中，要成为一个解决竞争条件的好...
2024-01-10
分布式锁实现原理
扯一扯分布式锁吧，没有代码，就是存粹的文字描述原理。原理懂了，代码自然就出来了。分布式锁目前大部分都是基于redis和zk两种中间件来实现，当然，有一些其他中间件也是可以实现的，其余的就不叙述了，就针对这两种进行描述下吧。分布式的锁重点就是将各个客户端的请求进行原子化操作。...
2024-01-10
Java分布式锁
分布式锁简述 在单机时代，虽然不存在分布式锁，但也会面临资源互斥的情况，只不过在单机的情况下，如果有多个线程要同时访问某个共享资源的时候，我们可以采用线程间加锁的机制，即当某个线程获取到这个资源后，就需要对这个资源进行加锁，当使用完资源之后，再解锁，其它线程就...
2024-01-10
分布式幂等
update t_reps set count=count-1,version=version+1 where version=11.购买手机的时候，先查询库存，剩1件，假如当前如version为1 2.更新的时候version+1，count-1 3.同是有新数据语句的时候，version已经等于2的时候，不为1，则不操作消费端幂等性保证唯一id+指纹码，利用数据库主键去重 select count(1) from t_order where id=唯一id+...
2024-01-10
分布式总结
CAPhttps://my.oschina.net/garlicts/blog/3196719 最终一致性https://my.oschina.net/garlicts/blog/1924627https://my.oschina.net/garlicts/blog/1924537 幂等操作 分布式事务指事务的每个操作步骤都位于不同的节点上，需要保证事务的 AICD 特性。事务的AICD，可以看这个博客： https://blog.csdn.net/dengjili/article/details/8246...
2024-01-10
分布式锁的简单总结
为什么需要分布式锁直接作用是保证同一时刻同一代码不被重复执行, 更深一层目的其实是为了保证“功效性”和“正确性”.功效性(Efficiency)即节省计算机资源, 减少不必要的重复执行. 如果只是单纯地保证功效性, 一般可以容忍锁出现失误, 因为不会对执行结果造成影响.准确性(Correctness) 即程...
2024-01-10
分布式幂等性
幂等性：一个接口运行多次，与运行一次的效果是一样的 update t_reps set count=count-1,version=version+1 where version=11.购买手机的时候，先查询库存，剩1件，假如当前如version为1 2.更新的时候version+1，count-1 3.同是有新数据语句的时候，version已经等于2的时候，不为1，则不操作消费端幂等性保证唯一id+指纹码...
2024-01-10
分布式CAP
互联网发展到现在，由于数据量大、操作并发高等问题，大部分网站项目都采用分布式的架构。而分布式系统最大的特点数据分散，在不同网络节点在某些时刻（数据未同步完，数据丢失），数据会不一致。在2000年，Eric Brewer教授在PODC的研讨会上提出了一个猜想：一致性、可用性和分区容错性三者无...
2024-01-10
分布式事物理解
第二步：JTA执行预提交第三步： 预提交都成功就执行commit，只要有一个失败就执行rollback。为什么会有三阶断？降低失败的概率：因为同时commit，如果因为网络问题，或者tomcat本身挂掉了，那么三阶断的commit就不会执行，当然要会有一个问题，三阶断的commit也失败了怎么办？所以说它的最终一致性...
2024-01-10
zk中实现分布式锁服务
什么场景下需要实现分布式锁？Q: 例如多台客户端修改zk中配置文件，如何保证数据的一致性解决方案zk中分布式锁实现步骤 创建锁，获取锁，删除锁具体实现开始在zk中create 一个persistent类型znode,例如名字叫 /locks/write_lock其他客户端需要在修改文件之前，执行如下步骤，看是否能够获取修改文件...
2024-01-10
Redis应用分布式锁
当多个进程不在同一个系统中，就需要用分布式锁控制多个进程对资源的访问。使用redis来实现分布式锁主要用到以下命令：SETNX KEY VALUE如果key不存在，就设置key对应字符串valueexpire KEY seconds设置key的过期时间del KEY删除key代码实现如下:$redis = new Redis();$redis->connect("127.0.0.1", 6379);$ok = $redis->setNX($ke...
2024-01-10
Redis构建分布式锁
1、前言为什么要构建锁呢？因为构建合适的锁可以在高并发下能够保持数据的一致性，即客户端在执行连贯的命令时上锁的数据不会被别的客户端的更改而发生错误。同时还能够保证命令执行的成功率。看到这里你不禁要问redis中不是有事务操作么？事务操作不能够实现上面的功能么？的确，redis中...
2024-01-10etcd实现分布式锁分析
本文内容纲要：- 分布式锁简介- 分布式锁问题和特性- etcd如何实现分布式锁- etcd的V3版本分布式锁分析- 参考：3篇关于分布式锁的文章，可以结合看：consul实现分布式锁：https://www.cnblogs.com/jiujuan/p/10527786.htmlredis实现分布式锁：https://www.cnblogs.com/jiujuan/p/10595838.htmletcd实现分布式锁：https://www.cn...
2024-01-10
分布式锁三种实现方式及对比
分布式锁三种实现方式：1. 基于数据库实现分布式锁；2. 基于缓存（Redis等）实现分布式锁；3. 基于Zookeeper实现分布式锁；一， 基于数据库实现分布式锁1. 悲观锁利用select … where … for update 排他锁注意: 其他附加功能与实现一基本一致，这里需要注意的是“where name=lock ”，name字段...
2024-01-10
分布式锁的实现（java）
当对接第三方接口时，往往会碰到同一时间发送了大量相同的请求，这个时候或许就是第三方发送接口的失误了。而我们需要做的就是针对这个情况来强化我们的系统。这个时候就需要用到分布式锁。让这些请求只有一个能发送进来。分布式锁的实现一般有三种：基于数据库的乐观锁；基于redis...
2024-01-10
基于Redis实现分布式锁
我们知道分布式锁的特性是排他、避免死锁、高可用。分布式锁的实现可以通过数据库的乐观锁(通过版本号)或者悲观锁(通过for update)、Redis的setnx()命令、Zookeeper(在某个持久节点添加临时有序节点，判断当前节点是否是序列中最小的节点，如果不是则监听比当前节点还要小的节点。如果是，获取锁成功...
2024-01-10
分布式ID生成方案
1. 场景大型分布式中涉及到：订单号、商品ID等。分布式唯一ID有哪些特性或要求呢？① 唯一性：生成的ID全局唯一，在特定范围内冲突概率极小。② 有序性：生成的ID按某种规则有序，便于数据库插入及排序。③ 可用性：可保证高并发下的可用性, 确保任何时候都能正确的生成ID。④ 自主性：分...
2024-01-10
一文看懂分布式事务
本地事务事务Transaction由一组SQL组成，具有四个ACID特性。ACID1. Atomicity 原子性，构成事务的一组SQL，要么全部生效，要么全不生效，不会出现部分生效的情况2. Consistency 一致性，数据库经过事务操作后从一种状态转变为另一个状态。可以说原子性是从行为上描述，而一致性是从结果上描述3. Isolat...
2024-01-10
分布式学习day02
今天学习分布式的项目搭建,第二天使用 intelliJ IDEA 渐渐适应了操作搭建分布式项目,我把他分为一个父工程和14个子工程如图是各项目的关系依赖:idea包结构:搭建好我们所需要的工程之后,我们就需要配置XML文件和POM.xml文件 父工程的POM文件 <!-- 集中定义依赖版本号 --><propert...
2024-01-10
分布式ID的简单总结
简单总结一下流行的分布式id的实现方法 雪花算法snowflake是twitter开源的分布式ID生成算法.核心思想是：分布式ID固定是一个long型的数字，一个long型占8个字节，也就是64个bit，原始snowflake算法中对于bit的分配如下图：第一个bit位是标识部分，在java中由于long的最高位是符号位，正数是0，负数是1，...
2024-01-10
分布式事务TCC机制
CAP定理 CAP定理是由加州大学伯克利分校Eric Brewer教授提出来的，他指出WEB服务无法同时满足一下3个属性：一致性(Consistency) ： 客户端知道一系列的操作都会同时发生(生效)可用性(Availability) ： 每个操作都必须以可预期的响应结束分区容错性(Partition tolerance) ： 即使出现单个组件无法可用,操作依然可...
2024-01-10
对于分布式Job的思考
引言在清理Github的时候，发现以前写的一个简单的分布式任务分发系统ClawHub/task-distribution,使用了zk的选主与队列，调度器使用spring的ThreadPoolTaskScheduler，任务支持cron表达式。这让我想起在这之前还封装过Quartz，那时候做的是单机版超大型应用，内部需要做调度系统。目前在公司使用过Elastic-Job，也...
2024-01-10
ESL分布式改造日志1
分布式部署之后可能碰到的问题：1）session管理使用keepalived对nginx进行热备，暂时不实行。管理分布式session的四种方式，暂时可以使用第二种：会话保持，在nginx的配置中使用：upstream esl { ip_hash; server 192.168.100.161:9999 weight=1; server 192.168.100.119:9999 weight=1; }2）定时任务待研究3）mqtt...
2024-01-10
分布式|DBLE之SQL解析
数据库中间件与数据库有什么区别？个人认为除了没做数据存储，其他的功能数据库中间件几乎一样不少，比如 SQL 解析、结果集处理、协议实现等。SQL 解析的定义今天我们主要来谈谈 SQL 解析，SQL 的全称为 Structured Query Language，即结构化查询语言，既然定义为语言，那其实它和任何其他语言都是...
2024-01-10
