ESM6802是英創(chuàng)公司推出的基于Freescale i.MX6DL雙核處理器(ARM Cortex-A9，主頻1GHz)的高性能工控主板。我們?cè)贓SM6802上做了針對(duì)性的優(yōu)化來(lái)使其更好的支持多媒體音視頻的處理，在測(cè)試時(shí)我們的環(huán)境及測(cè)試效果如下表所示：

下面將介紹ESM6802上面的多媒體編程應(yīng)用方案供客戶在實(shí)際開(kāi)發(fā)中參考。

1、應(yīng)用程序圖形界面

在處理多媒體時(shí)，需要提供一個(gè)良好的控制界面，來(lái)控制音視頻的播放或者錄制。ESM6802提供了X11和Qt5.8.0來(lái)給客戶提供一個(gè)良好的編程環(huán)境，X11平臺(tái)能夠使用imx6dl處理器內(nèi)部的GPU模塊，使得圖像顯示獲得硬件加速，但是X11一般不作為直接的開(kāi)發(fā)環(huán)境來(lái)搭建應(yīng)用程序，實(shí)際使用中多是選擇更加高級(jí)的庫(kù)比如Qt以及gtk，在此我們選擇Qt進(jìn)行介紹。ESM6802中預(yù)裝了Qt 5.8.0版本。Qt運(yùn)行于X11（Qt概念中的xcb平臺(tái)）上又能獲益于X11得到的硬件圖形顯示加速，從而提升Qt的運(yùn)行效果。Qt官方提供了很完整的文檔以及應(yīng)用示例作為開(kāi)發(fā)的參考的資料，我們不再詳細(xì)介紹著寫內(nèi)容，下面我們將展示Qt例程中的camera以及player的界面，兩者顯示效果如下例圖片，其中camera提供了拍照和錄像兩種模式，兩個(gè)模式分別有自己不同的設(shè)置界面；player提供了文件選擇功能，可以方便的瀏覽選擇視頻文件：

圖1camera顯示界面

圖2錄像設(shè)置界面

圖3拍照設(shè)置界面

圖4player播放界面

這兩個(gè)程序的源碼都可以在Qt源碼中獲得，或者在QtCreator的示例選擇界面獲得，也可以向我們的工程師獲取。

為了方便監(jiān)視程序運(yùn)行的CPU占用以及CPU溫度，我們?cè)赾amera例程中增加了部分代碼，添加兩個(gè)標(biāo)簽用于展示CPU占用率以及CPU溫度。部分代碼如下：

通過(guò)讀取/proc/stat文件獲取CPU占用率：

void CPUINFO::read_cpu_jiffy(jiffy_counts_t *p_jif)

{

FILE *fp = fopen("/proc/stat", "r");

static const char fmt[] = "cpu %llu %llu %llu %llu %llu %llu %llu %llu";

int ret;

char line_buf[80];

if (!fgets(line_buf, 80, fp) || line_buf[0] != 'c' /* not "cpu" */)

return ;

ret = sscanf(line_buf, fmt,

&p_jif->usr, &p_jif->nic, &p_jif->sys, &p_jif->idle,

&p_jif->iowait, &p_jif->irq, &p_jif->softirq,

&p_jif->steal);

if (ret >= 4) {

p_jif->total = p_jif->usr + p_jif->nic + p_jif->sys + p_jif->idle

+ p_jif->iowait + p_jif->irq + p_jif->softirq + p_jif->steal;

/* procps 2.x does not count iowait as busy time */

p_jif->busy = p_jif->total - p_jif->idle - p_jif->iowait;

}

fclose(fp);

return;

}

void CPUINFO::get_cpu_load(double *p_load)

{

total = cur.total - pre.total;

busy = cur.busy - pre.busy;

if ((total > busy) && (total > 0) && (busy > 0))

*p_load = (double)busy / (double)total * 100;

}

讀取/sys/class/thermal/thermalzone0/temp文件獲取CPU溫度：

void CPUINFO::read_cpu_temp(unsigned int *p_temp)

{

FILE *fp = fopen("/sys/class/thermal/thermal_zone0/temp", "r");

fscanf(fp, "%u", p_temp);

fclose(fp);

return;

}

加入CPU占用率和CPU溫度檢測(cè)后的界面如下，CPU信息顯示在右上角：

2、音視頻處理

Freescale官方針對(duì)imx6dl的硬件編解碼器提供了特有的gstreamer插件，gstreamer是一個(gè)基于流水線的流媒體處理框架，以插件的形式提供對(duì)不同格式的音視頻處理的支持。使用Gstreamer可以很容易地創(chuàng)建各種多媒體功能組件，包括簡(jiǎn)單的音視頻回放、錄制、編輯等，但是對(duì)于不熟悉Gstreamer框架的客戶可能獨(dú)立使用Gstreamer編程有一定困難，因此我們將是用Qt的多媒體處理模塊來(lái)進(jìn)行音視頻的播放和錄制。Qt的多媒體處理模塊(multimedia)是基于Gstreamer的，我們將Qt 的multimedia模塊編譯進(jìn)了ESM6802的文件系統(tǒng)，同時(shí)針對(duì)imx6dl特有的gstreamer插件修改了Qt源碼，使得用戶在使用中可以參考Qt官方的編程文檔而不需要進(jìn)行特殊設(shè)置，同時(shí)又能夠使用到硬件加速來(lái)處理音視頻，包括視頻的編解碼以及視頻的顯示。

ESM6802硬件支持的視頻格式如下：

支持解碼的視頻格式為：

●H.264 BP/MP/HP

●VC-1 SP/MP/AP

●MPEG-4 SP/ASP （不包括GMC）

●DivX(Xvid)

●MPEG-1/2

●VP8

●AVS

●MJPEG

支持的編碼格式為：

●H.264

●MPEG-4

●H.263

●MJPG

關(guān)于更多詳細(xì)的資料可以參考我們之前的文章以及Qt的官方文檔：

《ESM6802視頻處理簡(jiǎn)介》

《ESM6802支持Qt攝像頭應(yīng)用》

《ESM6802支持基于Qt的視頻播放》

在進(jìn)行視頻錄制時(shí)需要自己設(shè)置使用的編碼格式，視頻播放時(shí)Qt能夠自動(dòng)選擇解碼器。我們下面將介紹怎么在應(yīng)用中選擇要使用的編碼格式，只有選擇硬件編碼器支持的格式才能獲得贏家加速，我們推薦用戶在使用中采用H264的格式，還是以Qt官方例程camera為例，部分代碼如下：

//audio codecs 獲取支持的音頻格式

ui->audioCodecBox->addItem(tr("Default audio codec"), QVariant(QString()));

foreach (const QString &codecName, mediaRecorder->supportedAudioCodecs()) {

QString description = mediaRecorder->audioCodecDescription(codecName);

ui->audioCodecBox->addItem(codecName+": "+description, QVariant(codecName));

}

//sample rate 支持的采樣率:

foreach (int sampleRate, mediaRecorder->supportedAudioSampleRates()) {

ui->audioSampleRateBox->addItem(QString::number(sampleRate), QVariant(sampleRate));

}

ui->audioQualitySlider->setRange(0, int(QMultimedia::VeryHighQuality));

//video codecs 支持的視頻編碼格式

ui->videoCodecBox->addItem(tr("Default video codec"), QVariant(QString()));

foreach (const QString &codecName, mediaRecorder->supportedVideoCodecs()) {

QString description = mediaRecorder->videoCodecDescription(codecName);

ui->videoCodecBox->addItem(codecName+": "+description, QVariant(codecName));

}

ui->videoQualitySlider->setRange(0, int(QMultimedia::VeryHighQuality));

//video codecs 支持的分辨率

ui->videoResolutionBox->addItem(tr("Default"));

QList supportedResolutions = mediaRecorder->supportedResolutions();

foreach (const QSize &resolution, supportedResolutions) {

ui->videoResolutionBox->addItem(QString("%1x%2").arg(resolution.width()).arg(resolution.height()),QVariant(resolution));

}

ui->videoFramerateBox->addItem(tr("Default"));

QList supportedFrameRates = mediaRecorder->supportedFrameRates();

qreal rate;

foreach (rate, supportedFrameRates) {

QString rateString = QString("%1").arg(rate, 0, 'f', 2);

ui->videoFramerateBox->addItem(rateString, QVariant(rate));

}

//containers 支持的封裝格式

ui->containerFormatBox->addItem(tr("Default container"), QVariant(QString()));

foreach (const QString &format, mediaRecorder->supportedContainers()) {

ui->containerFormatBox->addItem(format+":"+mediaRecorder->containerDescription(format), QVariant(format));

設(shè)置采用的視頻格式等參數(shù)：

void VideoSettings::setAudioSettings(const QAudioEncoderSettings &audioSettings)

{

return;

selectComboBoxItem(ui->audioCodecBox, QVariant(audioSettings.codec()));

selectComboBoxItem(ui->audioSampleRateBox, QVariant(audioSettings.sampleRate()));

ui->audioQualitySlider->setValue(audioSettings.quality());

}

void VideoSettings::setVideoSettings(const QVideoEncoderSettings &videoSettings)

{

selectComboBoxItem(ui->videoCodecBox, QVariant(videoSettings.codec()));

selectComboBoxItem(ui->videoResolutionBox, QVariant(videoSettings.resolution()));

ui->videoQualitySlider->setValue(videoSettings.quality());

//special case for frame rate

for (int i = 0; i < ui->videoFramerateBox->count(); ++i) {

qreal itemRate = ui->videoFramerateBox->itemData(i).value();

if (qFuzzyCompare(itemRate, videoSettings.frameRate())) {

ui->videoFramerateBox->setCurrentIndex(i);

break;

}

}

}

在使用中進(jìn)入camera程序的錄制視頻的設(shè)置界面就可以看到各個(gè)設(shè)置支持的參數(shù)， 然后可以手動(dòng)選擇要使用的參數(shù)，之后點(diǎn)擊OK就能是設(shè)置生效。用戶在自己的應(yīng)用程序中可以選擇固定的參數(shù)簡(jiǎn)化應(yīng)用程序，使用硬件編碼加速視頻的錄制。

3、總結(jié)

imx6dl處理器內(nèi)部提供了針對(duì)多媒體處理和圖像顯示的硬件模塊來(lái)輔助相關(guān)功能的實(shí)現(xiàn)，在編程中使用這些硬件模塊提供的功能能夠加速應(yīng)用的處理過(guò)程，減小CPU等系統(tǒng)資源的占用。我們針對(duì)這些硬件模塊定制了ESM6802的文件系統(tǒng)，提供了Qt+X11的平臺(tái)來(lái)簡(jiǎn)化客戶的應(yīng)用程序開(kāi)發(fā)過(guò)程，用戶使用Qt來(lái)開(kāi)發(fā)自己的圖形界面多媒體處理程序可以直接參考Qt官方的文檔進(jìn)行編程，就可以使用到ESM6802的硬件資源，而不需要做特殊設(shè)置。實(shí)際測(cè)試中，在我們修改過(guò)的Qt上運(yùn)行程序CPU占用率以CPU溫度都相對(duì)于沒(méi)有進(jìn)過(guò)修改的程序有明顯的改善。開(kāi)發(fā)中用戶可以參考以上介紹的程序中的源碼來(lái)實(shí)現(xiàn)自己需要的功能，有興趣的客戶可以直接和我們的工程師進(jìn)行溝通獲取相關(guān)資料以及程序源碼。