服务器资源: 8核16G内存, 6个机械磁盘,每个磁盘100G, 用于mongo分片,10MB带宽。
容量:用户容量10万以上,消息条数10亿条。
性能评估:同时在线用户10万,每秒钟发送消息900条,消息延时1秒(从发送者发出消息到接收到消息)
启动sdk,模拟50个用户在线、离线情况,消息可靠性100%。
发送10万消息,有3条失败,其他消息都能被对方精确收到,并成功落地本地db。对于失败的3条消息,接收方确实没有收到,系统消息是一致的。
OpenIM是由前微信技术专家打造的开源的即时通讯组件。Open-IM包括IM服务端和客户端SDK,是一套整体的解决方案,代码开源,一切可控,
OpenIM可以实现全平台支持,目前支持Android,iOS,Flutter,Uni-app,react-native, JSSDK等。
OpenIM可以应用在企业内部办公,dating交友,在线客服等项目,也可以用于元宇宙。
github地址:https://github.com/OpenIMSDK/Open-IM-Server
开发者中心: https://doc.rentsoft.cn/#/
在单机的情况下,模拟线上用户发消息流程,在线用户量和消息量达到一定量级后,系统CPU、内存、磁盘占用、以及消息时延情况。以确定用户群体达到一定量级后,对服务器资源的预先评估。本次测试并不极限测试,一是因为生产环境本来都会有用户量和消息量的限制,二是因为OpenIM的消息模型,消息发送首先都会通过websocket入库kafka,理论上发送消息的写入性能是两者的组合,而消息发送的真正瓶颈实际在mongodb的随机读写。
服务器资源: 腾讯云主机(香港)1台:linux Ubuntu 18.04.4系统,4核8G内存,单块机械硬盘。5Mb带宽。
测试条件:去掉消息入库mysql(因mysql仅用于管理后台,不影响线上用户服务)。日志级别调整为4或更低。kafka设置2个分区,msg_transfer 2个。
测试流程:1个客户端(成都,window pc,4核16G内存)启动1万个协程,模拟用户与服务器建立websocket长连接,间隔时间为随机50-100秒之间。两个客户端共模拟2万用户同时在线,发送消息,观察消息流转各个模块的处理能力,共计2500万条消息,观察系统内存、磁盘资源使用情况。
mongodb数据情况
redis数据情况
磁盘状态
资源占用分析
(1)redis内存消耗极小,一个用户一条数据(包括token和seq),和用户量成正比,3万用户占用几十M内存。
(2)mongodb如果去掉cache,内存消耗极小,每个document存放5000条消息,与用户量和消息量成正比,3万用户,2500万消息,索引才950K(更好的方式查看mongo消耗cache之外的内存)
(3)2500万消息,磁盘空间占用10G。
(4)每秒钟150条消息,cpu整体占用50%,即2核。
性能分析
(1)性能瓶颈在mongodb写入操作,1条消息,需要按照发送者和接收者拆分2次,mongodb写入2次,未来可以针对mongodb读写进一步优化。
(2)对于cpu消耗较大的模块,未来做一次整体优化。
(3)性能很平稳,不会随着数据量增加而降低。机械磁盘iops 达到200基本达到了设备的极限
服务器资源: 8核16G内存, 6个磁盘,每个磁盘100G, 用于mongo分片,10MB带宽。
性能评估:同时在线用户10万,每秒钟发送消息900条,消息延时1秒(从发送者发出消息到接收到消息)
(1)mongo集群部署,支持上亿用户同时在线,千亿级消息;
(2)简化集群部署;
(3)数据备份、恢复工具;
以上主要对服务端性能做了一个大致测试,但一套完整的IM解决方案,不仅仅是服务端的工作。实际上,客户端重要性毋庸置疑,具体包括如何利用seq和服务端同步消息,如果保证消息收发的时序,如何回调客户端(会话改变、新增,新消息),消息落地本地db,seq同步,消息推拉如何结合以确保消息收发可靠性。
相比于性能测试,实际上,消息的可达性(可靠性)更为重要。所以,我们在做性能测试的同时,也要对消息的可达性(可靠性)进行测试,如果不能保证消息收发的正确性,再高的性能也是徒劳。本文重点总结关于OpenIM对于消息可达性测试的方案、过程以及结果。先说结论,OpenIM消息可达率100%,大家可以放心使用在生产环境中。seq对齐和同步机制,保证了OpenIM的消息可达性是业界领先的。
IM消息系统的可靠性,通常就是指消息投递的可靠性,即我们经常听到的“消息必达”,通常用消息的不丢失和不重复两个技术指标来表示。确保消息被发送后,能被接收者收到。由于网络环境的复杂性,以及用户在线的不确定性,消息的可靠性(不丢失、不重复)无疑是IM系统的核心指标,也是IM系统实现中的难点之一。总体来说,IM系统的消息“可靠性”,通常就是指聊天消息投递的可靠性(准确的说,这个“消息”是广义的,因为还存用户看不见的各种指令和通知,包括但不限于进群退群通知、好友添加通知等,为了方便描述,统称“消息”)。
从消息发送者和接收者用户行为来讲,消息“可靠性”应该分为以下几种情况:
(1)发送失败,对于这种情况IM系统必须要感知到,明确反馈发送方。如果此消息没有发送成功,发送方可以选择重试或者稍后再试。
(2)发送成功,如果接收方处在“在线”状态,应该立即收到此消息。如果接收方处在“离线”状态不能收到消息,一旦上线则立刻收到消息。
(3)消息不能重复,用数学术语表示:“有且仅有这条消息”,如果重复了,可能表达的意思就变了。 总之,一个商用 IM系统,必须包含消息“可靠性”逻辑,才能谈基本可用,这是IM系统最基本也是最核心的逻辑。
互联网真实场景复杂,但客户端大体可以分为两种情况:(1)发送消息时,接收方在线,能收到消息;(2)发送消息时接收方不在线,登录后能收到离线消息。我们用测试程序模拟互联网客户端各种场景,按照登录、发送消息、接收消息的情况,把测试客户端分为以下2种类型:
(1)启动测试时离线,随机sleep 0-60 秒后登录,发送消息,且接收消息
(2)启动测试时离线,随机sleep 0-60 秒后登录,不发送消息,只接收消息
在实际测试中共计50个客户端,约25个(50%概率)客户端不发送只接收消息,约25个(50%概率)客户端发送且接收消息 。
发送模式:每个客户端随机选择其他客户端作为消息接收者;
测试预期: 每一条发送成功的MsgID,都能在接收的消息列表中找到,同样,每一条接收到的MsgID,都能在发送成功的消息列表中找到。
具体做法:(1)消息发送成功后,通过OnSuccess回调,记录MsgID; 收到新消息后回调OnRecvNewMessage,记录MsgID;(2)周期性对比两个消息列表,确认是否完全一致;
发送数据100000条,其中失败3条,9999997条成功,接收方成功接收9999997条消息(接收方成功接收到消息,写入本地db,并能触发消息回调)
每一条发送成功的消息,对方都能准确接收到,无论接收方在消息发送时的登录状态是在线还是离线。
每一条发送失败的消息,对方都不会收到。
注意事项:
(1)控制压力,因为sdk需要写本地db,客户端会成为压力瓶颈。
(2)压测客户端日志会影响测试性能。
此表格是某IM云平台的价格,如果按照10万月活,存储三年消息来算,大概每年需要支付15万。而采用OpenIM只需要采购云主机,每年成本约0.8万。
以办公场景为例,比如员工入职通知,放假通知等业务通知,由oa系统处理具体的业务逻辑,再调用消息推送api,触达到目标用户。
效果示例
以协同办公为例,员工收到系统推送的工作通知,有新任务需要处理。
员工点击工作通知,可以查看具体详情,每条通知有不同的发送者昵称和头像。这种通知类型是一种新的会话类型,全部聚合在同一个会话。
OpenIM简介
OpenIM:从服务端到客户端SDK开源即时通讯整体解决方案。开发者可以轻松替代第三方IM云服务,打造具备聊天、社交功能的app,也可以在自身应用中集成SDK,以提供即时通讯能力。开源IM的价值在于“一切皆可控”“我的信息我做主”,无论是技术,还是信息安全。
整体超过7.2K star,OpenIM作为开源IM的领跑者,持续添加新功能,包括消息推送api,群聊已读。服务端和sdk都是Apache-2.0 License授权协议,可以免费使用。带有UI的产品需要商业授权,有兴趣的客户可以联系我们深度交流。
5X8小时vip专属服务,包括:
(1)一对一技术咨询,微信 电话等各种方式;
(2)sdk使用辅导咨询;
(3)服务端架构及部署答疑;
(4)IM新需求优先排期;
(5)bug优先修复;
(6)系统维护和故障响应;
web端体验:https://open-im-online.rentsoft.cn/
安卓端体验:https://www.pgyer.com/OpenIM
iOS端体验:
https://testflight.apple.com/join/o956rTGx
单机性能及容量总结
服务器资源:8核16G内存, 6个机械磁盘,每个磁盘100G, mongo 分片,10MB带宽。
容量:用户同时在线10万以上,消息条数10亿。
性能评估:同时在线用户10万,每秒钟发送消息900条,(从发送者发出消息到接收到消息)消息延时1秒
可靠性总结
每条消息都能被对方精确收到,并成功落地app本地db。对于失败的3条消息,接收方确实没有收到,确保系统消息一致性。
系统具备优秀的平行扩展能力,除存储模块外,其他模块都无状态,支持亿级用户,千亿消息量。
github地址:https://github.com/OpenIMSDK/Open-IM-Server
开发者中心:https://doc.rentsoft.cn/#/
简要描述
管理员通过后台接口发送通知类型消息
请求URL
http://x.x.x.x:10000/manager/send_msg
请求方式
POST
请求示例
{
"operationID": "Oa notification operationID111",
"sendID": "openIM123456",
"recvID": "18712345678",
"senderPlatformID": 2,
"senderFaceURL": "http://www.head.com",
"senderNickname": "系统通知2",
"content": {
"notificationName": "公文管理",
"notificationFaceURL": "http://www.head1.com",
"notificationType": 1,
"text": "大家好,今天是...",
"externalUrl":"",
"mixType": 0,
"pictureElem": {
"sourcePath": "",
"sourcePicture": {
"uuid": "",
"type": "",
"size": 0,
"width": 0,
"height": 0,
"url": ""
},
"bigPicture": {
"uuid": "",
"type": "",
"size": 0,
"width": 0,
"height": 0,
"url": ""
},
"snapshotPicture": {
"uuid": "",
"type": "",
"size": 0,
"width": 0,
"height": 0,
"url": ""
}
},
"soundElem": {
"uuid": "",
"soundPath": "",
"sourceUrl": "",
"dataSize": 0,
"duration": 0
},
"videoElem": {
"videoPath": "",
"videoUUID": "",
"videoUrl": "",
"videoType": "",
"videoSize": 0,
"duration": 0,
"snapshotPath": "",
"snapshotUUID": "",
"snapshotSize": 0,
"snapshotUrl": "",
"snapshotWidth": 0,
"snapshotHeight": 0
},
"fileElem": {
"filePath": "",
"uuid": "",
"sourceUrl": "",
"fileName": "",
"fileSize": 0
},
"ex": ""
},
"contentType": 1400,
"sessionType": 4,
"isOnlineOnly": false,
"offlinePushInfo": {
"title": "admin revoke your message",
"desc": "",
"ex": "",
"iOSPushSound": "default",
"iOSBadgeCount": false
}
}Copy to clipboardErrorCopied
请求参数
参数名类型必选说明
operationIDstring是操作ID,保持唯一,建议用当前时间微秒+随机数,用于后台链路追踪问题使用
sendIDstring是管理员ID,为后台config文件中配置的管理员ID中一个,默认openIM123456
recvIDstring是接收者userID
senderPlatformIDint否发送者平台号,模拟用户发送时填写, 1->IOS,2->Android,3->Windows,4->OSX,5->Web,5->MiniWeb,7->Linux
senderFaceURLstring否发送者头像,用于客户端通知会话产生
senderNicknamestring否发送者昵称,用于客户端通知会话产生
contentobject是消息的具体内容,内部是json 对象
notificationNamestring是通知标题
notificationFaceURLstring是通知头像
notificationTypeint是通知类型,如:1代表入职通知,2代表离职通知
textstring是通知正文e
externalUrlstring否通知点击后需要跳转到的地址链接(不填则无需跳转)
mixTypeint是通知混合类型 0:纯文字通知 1:文字+图片通知 2:文字+视频通知 3:文字+文件通知
pictureElemobject否图片元素对象
sourcePictureobject否原图
bigPictureobject否大图
snapshotPictureobject否缩略图
soundElemobject否声音元素对象
videoElemobject否视频元素对象
fileElemobject否文件元素对象
uuidstring否对象唯一ID用于缓存使用
type/videoType/string否图片类型/视频类型
size/dataSize/videoSize/snapshotSize/fileSizeint否多媒体文件大小,单位字节
width/snapshotWidthint否图片/视频缩略图宽度
height/snapshotHeightint否图片/视频缩略图高度
url/sourceUrl/videoUrlstring否图片/文件/视频的URL
sourcePath/soundPath/videoPath/filePathstring否文件路径,可不填写
fileNamestring否文件名字
exstring否扩展字段
contentTypeint是消息类型固定为1400
sessionTypeint是通知会话类型固定为4
isOnlineOnlybool否改字段设置为true时候,发送的消息服务器不会存储,接收者在线才会收到,不在线该消息丢失。
offlinePushInfoobject否离线推送的具体内容,如果不填写,使用服务器默认推送标题
titlestring否推送的标题
descstring否推送的具体描述
exstring否扩展字段
iOSPushSoundstring否IOS的推送声音
iOSBadgeCountbool否IOS推送消息是否计入桌面图标未读数
返回示例
{
"errCode": 0,
"errMsg": "",
"data": {
"serverMsgID": "",
"clientMsgID": "",
"sendTime": 1645697804432
}
}Copy to clipboardErrorCopied
返回参数
参数名类型说明
errCodeint0成功,非0失败
errMsgstring错误信息
sendTimeint消息发送的具体时间,具体为毫秒的时间戳
serverMsgIDstring服务器生成的消息的唯一ID
clientMsgIDstring客户端生成的消息唯一ID,默认情况使用这个为主键
消息类型格式描述
简要描述
管理员消息发送字段中contentType支持的消息类型说明以及消息content的具体字段说明。
ContentType消息类型说明
ContentType值类型说明
101文本消息
102图片消息
103音频消息
104视频消息
105文件消息
106群聊中的@类型消息
107合并转发类型消息
108名片消息
109地理位置类型消息
110自定义消息
111撤回类型消息
112已读回执类型消息
114引用类型消息
Content具体内容
content内部为具体的json对象,不同的消息类型是不同的json对象
文本消息
{
...,
"content": {
"text": "nihao"
},
....
}Copy to clipboardErrorCopied
参数名必选类型说明
text是string文本消息的具体内容
自定义消息
{
...,
"content": {
"data": "",
"description": "",
"extension": ""
},
....
}Copy to clipboardErrorCopied
参数名类型必选说明
datajson string是用户自定义的消息为json对象转换后的string
descriptionjson string否扩展的描述信息为json对象转换后的string,可以不使用
extensionjson string否扩展字段,暂时不使用
新特性介绍
OpenIM每周五发布新版,包括新特性发布,bug修复,同时合并PR,解决issue等
一个完善的IM系统,非常复杂,功能繁多,需求不一,比如对象存储有云端oss,cos,s3,私有化存储有MinIO等,推送有极光、个推,友盟等。希望大家能参与,共建社区,有兴趣的同学可以加我私聊。
安卓端体验: https://www.pgyer.com/OpenIM
本周新特性包括:
(1)发布消息推送api,支持应用与IM互通深度融合;
(2)群主可以解散群,解散后不能发送消息;
(3)群禁言,支持群全部禁用,以及对某个群成员禁言;
(4)阅后即焚,私聊时,对方已读后30秒自动删除;
(5)群内消息已读,对于发送者来说,能看到某条消息哪些人已读、未读;
每个功能都有通知回调即时生效,以及多端同步,本地缓存等特性。
项目成果
项目整体超过7.2K star,我们继续努力争开源IM的领跑者,请大家多多支持。为了您的数据安全,确保信息安全可控,欢迎请使用OpenIM
性能及容量总结
服务器资源:8核16G内存, 6个机械磁盘,每个磁盘100G, 用于mongo分片,10MB带宽。
容量:用户容量10万以上,消息条数10亿条。
性能评估:同时在线用户10万,每秒钟发送消息900条,消息延时1秒(从发送者发出消息到接收到消息)
可靠性总结
启动sdk,模拟50个用户在线、离线情况,消息可靠性100%。
发送10万消息,有3条失败,其他消息都能被对方精确收到,并成功落地本地db。对于失败的3条消息,接收方确实没有收到,系统消息是一致的。
github地址: https://github.com/OpenIMSDK/Open-IM-Server
开发者中心: https://doc.rentsoft.cn/#/
开发中的特性
特性 预计完成时间
朋友圈 4.30
mongos等集群部署方案 4.8
标签管理及通知下发 4.8
无网络状态下可访问本地聊天记录 4.15
我们的团队
创始团队来自资深IM技术团队,我们致力于用开源技术创造服务价值,打造轻量级、高可用的IM架构,开发者只需简单调用 SDK,即可在应用内构建多种即时通讯及实时音视频互动场景。OpenIM优势:开源,安全,可靠,低成本。对于信息安全重视的电子政务,企业协同办公,OpenIM都是非常好的选择。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)