本教程的目標(biāo)：

了解什么是音高 (Pitch) 以及歷史上機(jī)器學(xué)習(xí)如何檢測歌曲中的音高

對(duì)歌曲數(shù)據(jù)以及執(zhí)行模型的結(jié)果進(jìn)行可視化

編寫通過手機(jī)麥克風(fēng)收集聲音的代碼

在 Android 應(yīng)用程序內(nèi)部部署 ML 模型

對(duì)歌曲的數(shù)據(jù)進(jìn)行轉(zhuǎn)換并使用 SPICE 模型進(jìn)行推斷

在 Android 手機(jī)屏幕上呈現(xiàn)最終結(jié)果

介紹

音高是聲音的一種感知屬性，可以按相應(yīng)的頻率對(duì)其進(jìn)行排序。換句話說，音高在音樂旋律中是用來判斷聲音聽起來“高”和“低”的一種屬性。音高是音調(diào)的主要聽覺屬性之一，其余為音長 (Duration)，音強(qiáng) (Loudness)，以及音色 (Timbre)。音高通過頻率進(jìn)行量化，并以赫茲 (Hz) 為單位進(jìn)行測量，其中 1Hz 表示每秒一個(gè)周期。

音高檢測 (Pitch detection) 一個(gè)有趣的挑戰(zhàn)。歷史上，對(duì)音高和音高感知的研究一直是心理聲學(xué)的核心問題，并且在音頻表征的形成與測試?yán)碚摗?信號(hào)處理算法 (Signal-Processing Algorithms) 以及聽覺系統(tǒng)中的感知等方面起到重要作用。研究人員為此開發(fā)并應(yīng)用了許多技術(shù) ，還努力將相近頻率的背景噪聲與背景音樂進(jìn)行分離。

技術(shù)
https://www.cs.uregina.ca/Research/Techreports/2003-06.pdf

今天，我們可以通過機(jī)器學(xué)習(xí)來實(shí)現(xiàn)這一目標(biāo)，更具體地說，可以使用 SPICE 模型。這是一個(gè)經(jīng)過預(yù)訓(xùn)練的模型，可以識(shí)別混合錄制的音頻中的基本音高（包括噪音和背景音樂），您可以在 TensorFlow Hub 獲取 SPICE 模型，包括適用于 Web 端的 TensorFlow.js 以及適用于移動(dòng)端的 TensorFlow Lite。

TensorFlow Hub

https://tfhub.dev/

TensorFlow.js
https://tfhub.dev/google/tfjs-model/spice/1/default/1

TensorFlow Lite
https://tfhub.dev/google/lite-model/spice/1

開始

音頻以單聲道 16khz 采樣率記錄并保存為 .wav 格式。讓我們用一個(gè)具有該格式的簡單音頻文件為例。如果使用對(duì)數(shù)頻率坐標(biāo)圖（以使歌聲更清晰可見），加載它并可視化輸出，我們將獲得一個(gè)頻譜圖，該頻譜圖顯示隨時(shí)間變化的頻率：

音頻文件
https://storage.googleapis.com/download.tensorflow.org/data/c-scale-metronome.wav

在執(zhí)行帶有歌曲數(shù)據(jù)的模型后，我們將打印模型的輸出。藍(lán)色表示模型預(yù)測的音高值，橙色表示這些音高值的置信度：

如果僅保留置信度大于 90％ 的結(jié)果，并將其與灰度圖重疊，我們將獲得下圖：

在所有長度的歌曲上準(zhǔn)確性都很高！！

需要指出的是，雖然對(duì)于上述示例，基于頻譜圖的啟發(fā)式音高提取方法可能也起作用。但是通常情況下，基于機(jī)器學(xué)習(xí)的模型會(huì)優(yōu)于手工提取的信號(hào)處理方法，特別是當(dāng)音頻中存在背景噪聲和背景音樂時(shí)。關(guān)于 SPICE 與 SWIPE（基于頻譜圖的算法）的比較，請(qǐng)參見此文。

若在 Android 應(yīng)用程序內(nèi)部運(yùn)行 SPICE 模型，必須使用麥克風(fēng)收集聲音。首先，我們?cè)O(shè)置變量：

private val AUDIO_SOURCE = MediaRecorder.AudioSource.VOICE_RECOGNITION private val SAMPLE_RATE = 16000 private val CHANNEL_MASK = AudioFormat.CHANNEL_IN_MONO private val ENCODING = AudioFormat.ENCODING_PCM_16BIT private val BUFFER_SIZE = AudioRecord.getMinBufferSize(SAMPLE_RATE, CHANNEL_MASK, ENCODING) private val AUDIO_FORMAT = AudioFormat.Builder().setEncoding(ENCODING) .setSampleRate(SAMPLE_RATE) .setChannelMask(CHANNEL_MASK) .build()

然后，選擇 MediaRecorder.AudioSource.VOICE_RECOGNITION 以將麥克風(fēng)聲源導(dǎo)入至語音識(shí)別并應(yīng)用噪聲消除。音頻格式是 16位，單聲道，16KHz 采樣率的理想格式。最后，我們開始錄音進(jìn)程：

/** * Start the recording process. */ mRecorder = AudioRecord.Builder().setAudioSource(AUDIO_SOURCE) .setAudioFormat(AUDIO_FORMAT) .setBufferSizeInBytes(BUFFER_SIZE) .build() mRecorder?.startRecording()

停止錄音進(jìn)程 mRecorder.stopRecording() ，隨后我們從錄音機(jī)流中讀取音頻：

private val readAudio = Runnable { var readBytes: Int buffer = ShortArray(BUFFER_SIZE) while (mRecording) { readBytes = mRecorder!!.read(buffer, 0, BUFFER_SIZE) //Higher volume of microphone //https://stackoverflow.com/questions/25441166/how-to-adjust-microphone-sensitivity-while-recording-audio-in-android if (readBytes > 0) { for (i in 0 until readBytes) { buffer[i] = Math.min( (buffer[i] * 6.7).toInt(), Short.MAX_VALUE.toInt() ).toShort() } } if (readBytes != AudioRecord.ERROR_INVALID_OPERATION) { for (s in buffer) { // Add all values to arraylist bufferForInference.add(s) writeShort(mPcmStream, s) } } } }

注意此處的乘法 buffer[i] * 6.7。這個(gè)參數(shù)用于控制麥克風(fēng)增益并提高靈敏度（您可以使用其他值代替 6.7 來滿足需要）！

在此類內(nèi)，還有一個(gè)將字節(jié)數(shù)組轉(zhuǎn)換為.wav文件的函數(shù)。該文件存儲(chǔ)在手機(jī)內(nèi)部存儲(chǔ)器的Pitch Detector文件夾中，可用于與原始版本對(duì)比驗(yàn)證移動(dòng)端模型輸出的準(zhǔn)確性。

原始版本
https://colab.sandbox.google.com/github/tensorflow/hub/blob/master/examples/colab/spice.ipynb

部署 SPICE 模型的第一步是復(fù)制位于 Assets 文件夾中的 .tflite 文件。我們將這些依賴包含在 app build.gradle 文件中：

implementation 'org.tensorflow0.0.0-nightly' implementation 'org.tensorflow0.0.0-nightly' implementation 'org.tensorflow0.0.0-nightly'

.tflite 文件
https://tfhub.dev/google/lite-model/spice/1

最后一個(gè)依賴項(xiàng)含有額外的算子——這是該項(xiàng)目不可或缺的依賴項(xiàng)，但會(huì)顯著增大最終 .apk 文件的體積，因?yàn)樵撃Ｐ褪褂昧艘恍┰诘谝粋€(gè) tflite 依賴項(xiàng)中沒有的算子。如需進(jìn)一步了解，您可以閱讀此文。

此文
https://tensorflow.google.cn/lite/guide/ops_select#android_aar

初始化解釋器，從文件夾加載模型文件：

// load tflite file from assets folder @Throws(IOException::class) private fun loadModelFile(context: Context, modelFile: String): MappedByteBuffer { val fileDescriptor = context.assets.openFd(modelFile) val inputStream = FileInputStream(fileDescriptor.fileDescriptor) val fileChannel = inputStream.channel val startOffset = fileDescriptor.startOffset val declaredLength = fileDescriptor.declaredLength val retFile = fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength) fileDescriptor.close() return retFile } @Throws(IOException::class) private fun getInterpreter( context: Context, modelName: String, useGpu: Boolean ): Interpreter { val tfliteOptions = Interpreter.Options() if (useGpu) { gpuDelegate = GpuDelegate() tfliteOptions.addDelegate(gpuDelegate) } tfliteOptions.setNumThreads(numberThreads) return Interpreter(loadModelFile(context, modelName), tfliteOptions) }

我們準(zhǔn)備好了，使用音頻流進(jìn)行推理！

音頻流采用 ArrayList 格式。但是要將其輸入至模型，我們必須將其轉(zhuǎn)換為 float 值并正則化到 -1 到 1 的范圍內(nèi)。為此，我們將每個(gè)值除以 MAX_ABS_INT16 = 32768，然后使用解釋器執(zhí)行推理：

fun execute(floatsInput: FloatArray): ArrayList { predictTime = System.currentTimeMillis() val inputSize = floatsInput.size // ~2 seconds of sound var outputSize = 0 when (inputSize) { // 16.000 * 2 seconds recording 32000 -> outputSize = ceil(inputSize / 512.0).toInt() else -> outputSize = (ceil(inputSize / 512.0) + 1).toInt() } val inputValues = floatsInput//FloatArray(inputSize) val inputs = arrayOf(inputValues) val outputs = HashMap() val pitches = FloatArray(outputSize) val uncertainties = FloatArray(outputSize) outputs[0] = pitches outputs[1] = uncertainties try { interpreter.runForMultipleInputsOutputs(inputs, outputs) } catch (e: Exception) { Log.e("EXCEPTION", e.toString()) } }

當(dāng)我們獲得結(jié)果后，我們接下來要做的是：

篩選輸出置信度超過 90％ 的結(jié)果

將絕對(duì)音高轉(zhuǎn)換為赫茲 (Hz)

計(jì)算唱歌期間的偏移量

使用一些啟發(fā)式算法嘗試預(yù)測并輸出最可能的演唱樂譜。

上述步驟中，計(jì)算出理想的偏移量是重要的一步，因?yàn)橥ǔＨ藗兒叱男膳c可以記譜的絕對(duì)音高值之間存在偏移。為此，我們還需要知道歌曲的速度（這樣才能確定采用的音符長度，比如八分音符）以及開始量化產(chǎn)生音符的時(shí)間偏移量。為簡單起見，我們將嘗試使用不同的速度和時(shí)間偏移并測量量化誤差，最后采用該誤差最小的組合。您可以在 PitchModelExecutor.kt 的源代碼中繼續(xù)深入了解。

PitchModelExecutor.kt 的源代碼

https://github.com/farmaker47/Pitch_Estimator/blob/master/app/src/main/java/com/george/pitch_estimator/PitchModelExecutor.kt

通過上述過程，我們獲得了含有音符字符串的 ArrayList，例如 [A2，F(xiàn)2，G#2，C3]，這些結(jié)果顯示在屏幕上。

TensorFlow Hub 的 SPICE 模型示例頁面有一個(gè)出色的可視化工具，可以在靜態(tài)的五線譜上顯示不斷流入的音符。因此，是時(shí)候在我們的移動(dòng)應(yīng)用程序去中復(fù)制此實(shí)時(shí)效果了！

可視化工具
https://tfhub.dev/google/lite-model/spice/1

Android webview 用于處理一些自定義 html 代碼。我們將此代碼加載到綁定適配器中：

// this binding adapter helps load custom html from assets folder @BindingAdapter("htmlToScreen") fun bindTextViewHtml(webView: WebView, htmlValue: String) { webView.settings.javaScriptEnabled = true webView.loadDataWithBaseURL("fake://not/needed", htmlValue, "text/html", "UTF-8", "") }

您可以在 這個(gè) GitHub Gist 找到提供給 Webview 的 html 源代碼！

GitHub Gist
https://gist.github.com/farmaker47/8e3b6a5af795f32459d35d2198f07d1c

當(dāng)屏幕上顯示如 [A2，F(xiàn)2] 這樣的文字音符時(shí)，我們執(zhí)行：

// Observe notes as they come out of model and update webview respectively viewModel.noteValuesToDisplay.observe(viewLifecycleOwner, androidx.lifecycle.Observer { list -> if (list.size > 0) { var i = 0 val handler = Handler() handler.post(object : Runnable { override fun run() { when (list[i]) { "C2" -> binding.webView.loadUrl("javascript:myMove('125')") "C#2" -> binding.webView.loadUrl("javascript:myMoveSharp('125')") "D2" -> binding.webView.loadUrl("javascript:myMove('130')") "D#2" -> binding.webView.loadUrl("javascript:myMoveSharp('130')") "E2" -> binding.webView.loadUrl("javascript:myMove('135')") "F2" -> binding.webView.loadUrl("javascript:myMove('140')") "F#2" -> binding.webView.loadUrl("javascript:myMoveSharp('140')") "G2" -> binding.webView.loadUrl("javascript:myMove('145')") "G#2" -> binding.webView.loadUrl("javascript:myMoveSharp('145')") "A2" -> binding.webView.loadUrl("javascript:myMove('150')") "A#2" -> binding.webView.loadUrl("javascript:myMoveSharp('150')") "B2" -> binding.webView.loadUrl("javascript:myMove('155')") ........................... } i++ if (i < list.size) { handler.postDelayed(this, 555L) } } }) } })

在這里，我們每兩秒鐘觀察一次音符變化，對(duì)于列表中的每個(gè)音符，我們執(zhí)行 javascript 函數(shù)。myMove 函數(shù)內(nèi)部的值是注釋的垂直偏移量。

此項(xiàng)目的 GitHub 地址(https//github.com/farmaker47/Pitch_Estimator)。

此項(xiàng)目使用 Kotlin 語言，并且包括：

使用 Webview 和自定義 HTML 加載。

使用 TensorFlow 的 .tflite 模型文件：

數(shù)據(jù)綁定

MVVM 模式下的協(xié)程

Koin DI

改進(jìn)計(jì)劃

在應(yīng)用程序的 build.gradle 文件中，我們添加了特殊算子的依賴項(xiàng)：

implementation ‘org.tensorflow0.0.0-nightly’

此依賴項(xiàng)導(dǎo)致最終的 .apk 文件體積膨脹。我們計(jì)劃通過僅選擇模型所需的算子，以此減少最終 .apk 的大小。

通過改進(jìn)算法，我們將能夠查看全音符，二分音符，休止符和其他音符。

責(zé)任編輯：lq