JAVA高并发问题,大数据，频繁IO操作。

建议采用缓存处理，按照你说的这种数据量，基于redis的缓存完全可以满足，存取速度可以10W+的，另外，拟采用的hashMap 是ConcurrentHashMap还是其他，页面展示是增量查询还是直接所有的再查询一次，socket数据接收你是用的netty还是mina，这都需要经过仔细的斟酌考虑设计的。有这么大的并发的需求，完全可以考虑做分布式集群的，估计这只是领导想要的目标吧

关于java清缓存前可以进后台方法,清完缓存不进了相关资料如下

java我们在使用缓存时，往往先尝试去缓存中取值，如果没有，再去数据库取值，如果数据库也没有值，则根据业务需求，返回空或者抛异常。

如果用户一直访问一个数据库不存在的数据，比如id为-1的数据，就会导致每次请求都会先去缓存查一次，然后再去数据库查一次，造成严重的性能问题。这种情况就叫缓存穿透。

解决方案

以下几种解决方案：对请求参数做校验，比如用户鉴权校验，id做基础校验，id <= 0的直接拦截。

如果查询到数据库没有值，也将对应的key存进缓存中，value为null。这样下次查询就直接从缓存返回了。但这里的key的缓存时间应该比较短，比如30s。防止后面在数据库插入了这条数据，而用户获取不到。

使用布隆过滤器，判断一个key是否已经查过了，如果已经查过了，就不去数据库查询。

缓存击穿

缓存击穿指的是，一个key的访问量非常大，比如某秒杀活动，有1w/s的并发量。这个key在某一时刻过期，那这些大量的请求就会一瞬间到数据库，数据库可能会直接崩溃。

解决方案

缓存击穿的解决方案也有几种，可以配合使用：对于热点数据，慎重考虑过期时间，确保热点期间key不会过期，甚至有些可以设置永不过期。

使用互斥锁(比如Java的多线程锁机制)，第一个线程访问key的时候就锁住，等查询数据库返回后，把值插入到缓存后再释放锁，这样后面的请求就可以直接取缓存里面的数据了。

缓存雪崩

缓存雪崩指的是，在某一时刻，多个key失效。这样就会有大量的请求从缓存中获取不到值，全部到数据库。还有另一种情况，就是缓存服务器宕机，也算做缓存雪崩。

解决方案

针对上述两种情况，缓存雪崩有两种解决方案：对每个key的过期时间设置一个随机值，而不是所有key都相同。

使用高可用的分布式缓存集群，确保缓存的高可用性，比如redis-cluster。

环割法（一致性 hash）环割法的原理如下：

1. 初始化的时候生成分片数量 X × 环割数量 N 的固定方式编号的字符串，例如 SHARD-1-NODE-1，并计算所有 X×N 个字符串的所有 hash 值。

2. 将所有计算出来的 hash 值放到一个排序的 Map 中，并将其中的所有元素进行排序。

3. 输入字符串的时候计算输入字符串的 hash 值，查看 hash 值介于哪两个元素之间，取小于 hash 值的那个元素对应的分片为数据的分片。

跳跃法（jumpstringhash）跳跃法的原理如下：1. 根据公式：

将数据落在每一个节点的概率进行平均分配。

2. 对于输入的字符串进行计算 hash 值，通过判断每次产生的伪随机值是否小于当前判定的节点 1/x，最终取捕获节点编号最大的作为数据的落点。3. 在实际使用中使用倒数的方法从最大节点值进行反向判断，一旦当产生的伪随机值大于 x 则判定此节点 x 作为数据的落点。

数据比较

下面将通过测试对环割法和跳跃法的性能及均衡性进行对比，说明 DBLE 为何使用跳跃法代替了环割法。

数据源：现场数据 350595 条

测试经过：

1. 通过各自的测试方法执行对于测试数据的分片任务。

2. 测试方法：记录分片结果的方差；记录从开始分片至分片结束的时间；记录分片结果与平均数的最大差值。

3. 由于在求模法 PartitionByString 的方法中要求分片的数量是 1024 的因数，所以测试过程只能使用 2 的指数形式进行测试，并在 PartitionByString 方法进行测试的时候不对于 MAC 地址进行截断，取全量长度进行测试。

---