线程安全引起的录音杂音电流音问题

前段时间写了一个录音模块，需求是：『录音的时候实时语音转文字，实时计算音量大小，实时进行 MP3 转码保存为文件』

首先进行需求分析，确定技术方案：

使用 AudioRecord 进行录音，实时获取原始音频数据
将音频数据传递给第三方语音转文字 SDK 进行处理
对音频数据进行处理，计算出音量大小
对音频数据进行 MP3 编码
将编码后的数据写入 MP3 文件

整个业务流程如上，只不过我们为了效率和解耦，将每个处理逻辑独立开来使用多线程进行并发处理。

具体流程见下图：

代码撸起来

下面的伪代码全部使用 kotlin 展示，不熟悉 kotlin 没关系，只需要关注具体的业务逻辑。

音频数据采集

首先创建一个线程给 AudioRecord 进行录音采集：

val emitter: FlowableProcessor<ShortArray>
val isRecording = AtomicBoolean()

override fun run() {
  var buffer = ShortArray(bufferSize)
  while (isRecording.get()) {
    val readSize = audioRecord.read(buffer, 0, bufferSize)
    if (readSize > 0) {
      //将数据使用 RxJava 发送出去
      emitter.onNext(buffer)
    }
  }
}

我们在子线程中读取到音频数据，并且通过 RxJava 将数据向下传递。（用什么传递不重要，重要的是将数据传递给下一层去进行处理）

对数据进行处理

外部接收 RxJava 的事件，对音频数据进行处理 （再次提醒，不需要在意细节，主要关注业务流程） ：

// 使用 observeOnIo() 操作将线程切换到 IO 线程
recorder?.start()?.observeOnIo()?.subscribe{ it:ShortArray ->
  //此时的代码和录音采集的代码分别执行在不同的线程上了

  //计算音量大小
  val volume = calVolume(it)

}


recorder?.start()?.observeOnIo()?.subscribe{ it:ShortArray ->
  //此时的代码和录音采集的代码分别执行在不同的线程上了

  //将 ShortArray 转换为 ByteArray
  var pcmBuffer: ByteArray = ...
  it.toByteArray(pcmBuffer)

  //语音转文字
  ...
}

recorder?.start()?.observeOnIo()?.subscribe{ it:ShortArray ->
  //此时的代码和录音采集的代码分别执行在不同的线程上了

  //进行 MP3 编码
  val encode = mp3Encode(it)
  if (encode != null && encode > 0) {
    // 将编码后的数据写入文件
    mp3Stream.write(mp3Buffer, 0, encode)
  }

}

整个业务流程就是这样，我自己使用的手机和公司所有的测试机，试听录制出来的 MP3 文件都没有问题。

开开心心的打包，测试，上线。

然后你懂的，有些用户录制出现杂音、电流音、声音断断续续。😂😂

机智的同学可能通过标题已经猜到了问题的原因，但我当时没有手机进行问题复现，为了解决这个问题可是花了很大的功夫才定位到问题所在。

解决杂音问题

因为我们在录音采集时将数据读取到 buffer 对象中，然后将 buffer 对象通过 RxJava 向下传递，因为 RxJava 的下游都开启了异步线程去处理事件，那么在录音采集的死循环中不等当前的数据进行 MP3 编码完毕就对 buffer 对象写入新采集到的音频数据，这个时候 MP3 编码出来的音频数据就被污染了。

val emitter: FlowableProcessor<ShortArray>
val isRecording = AtomicBoolean()

override fun run() {
  var buffer = ShortArray(bufferSize)
  while (isRecording.get()) {
    // 读取音频数据到 buffer 中
    val readSize = audioRecord.read(buffer, 0, bufferSize)
    if (readSize > 0) {
      //将 buffer 发送出去，因为下游是异步处理，所以执行完毕直接开始下次循环
      emitter.onNext(buffer)
    }
  }
}

要解决这个问题很简单：

1 2	// 将 buffer 数据 copy 一份进行传递，这样就不会修改下游的数据了 emitter.onNext(buffer.copyOf())

但是使用 copy 的方式会频繁的创建、销毁 ShortArray 对象，能不能优化一下呢？

我们可以使用对象池来管理 ShortArray，这样就不会频繁的进行创建、销毁操作。在 Android 的 support.v4 包中有一个 Pools 类实现了简单的对象池功能：

val bufferPool = Pools.SynchronizedPool<ShortArray>(10)

fun acquireBuffer(bufferSize: Int): ShortArray {
  var buffer = bufferPool.acquire()
  if (buffer == null || buffer.size != bufferSize) {
    buffer = ShortArray(bufferSize)
  }
  return buffer
}

fun releaseBuffer(shortArray: ShortArray) {
  try {
    bufferPool.release(shortArray)
  } catch (e: Exception) {
    Timber.e(e)
  }
}

override fun run() {
  while (isRecording.get()) {
    //通过对象池获取 buffer 对象
    val buffer = acquireBuffer(bufferSize)
    // 读取音频数据到 buffer 中
    val readSize = audioRecord.read(buffer, 0, bufferSize)
    if (readSize > 0) {
      //将 buffer 发送出去，下游处理完毕后调用 releaseBuffer 对 buffer 对象进行释放
      emitter.onNext(buffer)
    }
  }
}

总结

很简单的一个多线程并发问题，但是当我们自己不能复现的时候，还是带来了很大的麻烦。
这种问题在编写 emitter.onNext(buffer) 这行代码的时候就应该要考虑到线程安全问题，并且我之前做直播截屏的时候也遇到过类似的问题，截取直播流的画面帧保存为图片，因为截屏的操作不会很频繁，当时是直接 copy 一份画面帧的数据保存为图片。

可是以前没有写博客记录这种小问题，导致遇到类似的问题尽量不记得了。所以这次记录下来😂😂。

欢迎关注微信公众号：大脑好饿，更多干货等你来尝
公众号：大脑好饿