从零开始开发IM(即时通讯)服务端(一)

编程教程 > Java (320) 2024-11-26 14:39:04

前言

首先讲讲IM(即时通讯)技术可以用来做什么:
聊天:qq、微信
直播:斗鱼直播、抖音
实时位置共享、游戏多人互动等等
可以说几乎所有高实时性的应用场景都需要用到IM技术。

本篇将带大家从零开始搭建一个轻量级的IM服务端,麻雀虽小,五脏俱全,我们搭建的IM服务端实现以下功能

  1. 一对一的文本消息、文件消息通信
  2. 每个消息有“已发送”/“已送达”/“已读”回执
  3. 存储离线消息
  4. 支持用户登录,好友关系等基本功能。
  5. 能够方便地水平扩展

通过这个项目能学到什么?

这个项目涵盖了很多后端必备知识

  • rpc通信
  • 数据库
  • 缓存
  • 消息队列
  • 分布式、高并发的架构设计
  • docker部署

消息通信

文本消息

我们先从最简单的特性开始实现:一个普通消息的发送
消息格式如下:

message ChatMsg{
    id = 1;
    //消息id
    fromId = Alice
    //发送者userId
    destId = Bob
    //接收者userId
    msgBody = hello
    //消息体
}
从零开始开发IM(即时通讯)服务端(一)(转)_图示-24846604b6be47d89f68cc8f0cb17080.png
如上图,我们现在有两个用户:Alice和Bob连接到了服务器,当Alice发送消息message(hello)给Bob,服务端接收到消息,根据消息的destId进行转发,转发给Bob。
 

发送回执

那我们要怎么来实现回执的发送呢?
我们定义一种回执数据格式ACK,MsgType有三种,分别是sent(已发送), delivered(已送达), read(已读):

message AckMsg {
    id;
    //消息id
    fromId;
    //发送者id
    destId;
    //接收者id
    msgType;
    //消息类型
    ackMsgId;
    //确认的消息id
}

enum MsgType {
    DELIVERED;
    READ;
}

 

当服务端接受到Alice发来的消息时:

  1. 向Alice发送一个sent(hello)表示消息已经被发送到服务器。
 message AckMsg {
    id = 2;
    fromId = Alice;
    destId = Bob;
    msgType = SENT;
    ackMsgId = 1;
}
 
从零开始开发IM(即时通讯)服务端(一)(转)_图示-cf2c809805334a7393fb9da29f2be879.png
 
 
2 . 服务器把hello转发给Bob后,立刻向Alice发送delivered(hello)表示消息已经发送给Bob。
 message AckMsg {
    id = 3;
    fromId = Bob;
    destId = Alice;
    msgType = DELIVERED;
    ackMsgId = 1;
}
 
从零开始开发IM(即时通讯)服务端(一)(转)_图示-1f8582a6ea3e4673a539957ca4e9ed38.png
 
 3. Bob阅读消息后,客户端向服务器发送read(hello)表示消息已读
 
 message AckMsg {
    id = 4;
    fromId = Bob;
    destId = Alice;
    msgType = READ;
    ackMsgId = 1;
}
 这个消息会像一个普通聊天消息一样被服务器处理,最终发送给Alice。
从零开始开发IM(即时通讯)服务端(一)(转)_图示-b10138f7f957486691d8d0860868eb24.png
 
 

在服务器这里不区分ChatMsgAckMsg,处理过程都是一样的:解析消息的destId并进行转发。

水平扩展

当用户量越来越大,必然需要增加服务器的数量,用户的连接被分散在不同的机器上。此时,就需要存储用户连接在哪台机器上。
我们引入一个新的模块来管理用户的连接信息。

管理用户状态

从零开始开发IM(即时通讯)服务端(一)(转)_图示-c22ddc6c98694c78b2130cb0f9edea26.png


 模块叫做user status,共有三个接口:

 public interface UserStatusService {

    /**
     * 用户上线,存储userId与机器id的关系
     *
     * @param userId
     * @param connectorId
     * @return 如果当前用户在线,则返回他连接的机器id,否则返回null
     */
    String online(String userId, String connectorId);

    /**
     * 用户下线
     *
     * @param userId
     */
    void offline(String userId);

    /**
     * 通过用户id查找他当前连接的机器id
     *
     * @param userId
     * @return
     */
    String getConnectorId(String userId);
}
 
 
 

这样我们就能够对用户连接状态进行管理了,具体的实现应考虑服务的用户量、期望性能等进行实现。
此处我们使用redis来实现,将userId和connectorId的关系以key-value的形式存储。

消息转发

除此之外,还需要一个模块在不同的机器上转发消息,如下结构:

从零开始开发IM(即时通讯)服务端(一)(转)_图示-2788e14cdef743eaa557e07335f0158e.png

此时我们的服务被拆分成了connectortransfer两个模块,connector模块用于维持用户的长链接,而transfer的作用是将消息在多个connector之间转发。
现在Alice和Bob连接到了两台connector上,那么消息要如何传递呢?

  1. Alice上线,连接到机器[1]上时
    • 将Alice和它的连接存入内存中。
    • 调用user statusonline方法记录Alice上线。
  2. Alice发送了一条消息给Bob
    • 机器[1]收到消息后,解析destId,在内存中查找是否有Bob。
    • 如果没有,代表Bob未连接到这台机器,则转发给transfer
  3. transfer调用user statusgetConnectorId(Bob)方法找到Bob所连接的connector,返回机器[2],则转发给机器[2]
从零开始开发IM(即时通讯)服务端(一)(转)_图示-f6171f62da5e40ad8a59570282606a32.png
流程图

总结:

  • 引入user status模块管理用户连接,transfer模块在不同的机器之间转发,使服务可以水平扩展。
  • 为了满足实时转发,transfer需要和每台connector机器都保持长链接。

离线消息

如果用户当前不在线,就必须把消息持久化下来,等待用户下次上线再推送,这里使用mysql存储离线消息。
为了方便地水平扩展,我们使用消息队列进行解耦

  • transfer接收到消息后如果发现用户不在线,就发送给消息队列入库。
  • 用户登录时,服务器从库里拉取离线消息进行推送。

用户登录、好友关系

用户的注册登录、账户管理、好友关系链等功能更适合使用http协议,因此我们将这个模块做成一个restful服务,对外暴露http接口供客户端调用。

至此服务端的基本架构就完成了:

从零开始开发IM(即时通讯)服务端(一)(转)_图示-983f26fac9124766aa120ed7f9695298.png

总结

以上就是这篇博客的所有内容,本篇帮大家构建了IM服务端的架构,但还有很多细节需要我们去思考,例如:

  • 如何保证消息的顺序和唯一
  • 多个设备在线如何保证消息一致性
  • 如何处理消息发送失败
  • 消息的安全性
  • 如果要存储聊天记录要怎么做
  • 数据库分表分库
  • 服务高可用
    ……

 

转载来源:https://juejin.cn/post/6844903935040307214
 

评论
User Image
提示:请评论与当前内容相关的回复,广告、推广或无关内容将被删除。

相关文章
前言首先讲讲IM(即时通讯)技术可以用来做什么:聊天:qq、微信直播:斗鱼直播、抖音实时位置共享、游戏多人互动等等可以说几乎所有高实时性的应用场景都需要用到IM
本篇将带大家从零开始搭建一个轻量级的IM服务端,IM的整体设计思路和架构在我的上篇博客中已经讲过了,没看过的同学请点击从零开始开发IM(即时通讯)服务端(一)
引言    modbus tcp通讯Java的方案之前已经讲解过一种,modbus4j实现Java语言的modbus tcp协议通讯
modbus tcp 通讯协议在Java编程中的使用。本文主要讲解Java编程中通过modbus4j工具类来实现modbus tcp通讯协议的通讯。包括通过modbus协议读取数据,写入数据的实现。
Spring boot hessian 通讯加密,Spring boot hessian RPC框架通讯之间的加密验证。实现安全的RPC访问
spring boot webflux client实战,webclient是spring webflux的一个小组件。对于Java的http通讯来说,webclient是非常简单易用的。
问题描述idea启动maven的JavaFX项目报错:Exception in Application start method java.lang.reflect.InvocationTarg...
java编程中​​​​​​​通过Timer配合TimeTask实现计划调度任务的使用
Java编程之Spring Cloud Hystrix Circuit熔断/断路
Java编程之spring boot FastDFS Java client使用,Java编程,FastDFS Java客户端
Vert.x java 入门,Vert.x这个框架在常规的web业务开发中估计还不是很成熟。但是了解了他的一些原理我觉得可以有一番作为。今天主要简单讲解下eclipse Vert.x是什么有什么...
问题描述JavaFX maven项目在idea中启动报错:Exception in thread "WindowsNativeRunloopThread" java.lang.NoSuchMet...
spring boot 入门之security oauth2 jwt完美整合例子,Java编程中spring boot框架+spring security框架+spring security o...
问题描述最近写JavaFX程序遇到了下面的错误:Exception in thread "pool-2-thread-1" java.lang.IllegalStateException: No...
引言如今,很多应用程序仍然使用API java.util.Date和java.util.CalendarAPI,包括库来使我们的生活更轻松地处理这些类型,例如J