1. 同步刷新机制

RocketMQ 的同步刷新机制通过调用操作系统的 fsync 函数来确保数据写入磁盘，主要包括以下几个步骤：

  • 消息写入内存映射文件（MappedFile）。
  • 将内存映射文件中的消息同步刷新到内存缓冲区（Commitlog）。
  • 调用 fsync 函数将内存缓冲区中的消息立即刷盘。
  • 返回成功状态给消息发送方。

同步刷新机制确保了消息写入磁盘的可靠性，但会带来高延迟的问题，因为线程阻塞在 fsync 函数上，直到数据刷新到磁盘为止。

2. 异步刷新机制

RocketMQ 的异步刷新机制通过将刷新任务交由线程池执行，实现了将消息写入磁盘的过程与消息发送解耦，主要包括以下几个步骤：

  • 消息写入内存映射文件（MappedFile）。
  • 将内存映射文件中的消息同步刷新到内存缓冲区（Commitlog）。
  • 将刷盘任务提交给线程池异步执行。
  • 线程池中的工作线程调用 fsync 函数将内存缓冲区中的消息刷盘。
  • 返回成功状态给消息发送方。

异步刷新机制通过将刷盘任务交由线程池执行，减少了对 fsync 函数的直接调用，降低了刷新带来的延迟，提高了消息发送的吞吐量。

3. 同步刷新和异步刷新的选择

同步刷新机制和异步刷新机制各有优劣，应根据应用场景的特点选择合适的刷新方式。

同步刷新机制适用于对数据写入磁盘的可靠性要求较高的场景，例如金融系统。尽管同步刷新会带来较高的延迟，但能够确保消息的可靠性，防止数据丢失。

异步刷新机制适用于对延迟要求较高的场景，例如大规模的消息并发发送。异步刷新通过将刷盘任务交由线程池执行，解耦了刷新和发送的过程，提高了系统的消息吞吐量，但可能会导致少量数据丢失。


本文由轻山版权所有，禁止未经同意的情况下转发