カスタム開発向けには、ソフトウェア配布物に含まれているサンプルアプリケーションがNXP MCU Alexa Voice IoT SDKの扱い方を示す実行可能サンプルになっています。いきなりAlexaの完全なデモアプリケーションに取りかかるのではなく、サンプルアプリケーションを探って、音声フロントエンド、Wi-FiおよびBluetoothコネクティビティ、ブートローディングなどの特定機能を重点的に調べることもできます。

　たとえば、音声フロントエンドのサンプルアプリケーションは、Amazon FreeRTOSのタスクを使用してウェイクワード検出を行う場合の基本的なデザインパターンの実例になっています。

　音声フロントエンドのサンプルアプリケーションの場合、メインルーチンが、ハードウェアとソフトウェアのサブシステムを初期化し、FreeRTOSのxTaskCreate関数でメインアプリケーションタスク(appTask)とコンソールシェルタスク(sln_shell_task)を開始して、FreeRTOSスケジューラに制御を渡す手順の実例になっています(リスト1)。(注：FreeRTOSスケジューラを起動するvTaskStartSchedulerの呼び出しは、スケジューラに十分なメモリがない場合、リターンするだけです)

void main(void)
{
    /* Enable additional fault handlers */
    SCB->SHCSR |= (SCB_SHCSR_BUSFAULTENA_Msk | /*SCB_SHCSR_USGFAULTENA_Msk |*/ SCB_SHCSR_MEMFAULTENA_Msk);
    /* Init board hardware.*/
    BOARD_ConfigMPU();
    BOARD_InitBootPins();
    BOARD_BootClockRUN();
... 
    RGB_LED_Init();
    RGB_LED_SetColor(LED_COLOR_GREEN);
    sln_shell_init();
    xTaskCreate(appTask, "APP_Task", 512, NULL, configMAX_PRIORITIES - 1, &appTaskHandle);
    xTaskCreate(sln_shell_task, "Shell_Task", 1024, NULL, tskIDLE_PRIORITY + 1, NULL);
    /* Run RTOS */
    vTaskStartScheduler();
...
}

リスト1：NXP MCU Alexa Voice IoT SDKディストリビューションに含まれているサンプル音声フロントエンドアプリケーションは、基本的な必須の初期化処理と、メインアプリケーションタスクやコンソールシェルタスクのためのFreeRTOSタスク生成を実例で示しています。(コード提供：NXP)

　音声サブシステムを初期化した後、メインアプリケーションタスクであるappTaskは、2つのFreeRTOSタスクを順次開始します。一方のタスクは、音声入力を処理するサービスルーチンであるaudio_processing_taskを実行し、もう一方のタスクは、マイクロフォンPDM出力のパルス符号変調(PCM、Pulse-Code Modulation)への変換を処理します。その他の内部処理をした後、appTaskは永久ループに入ってウェイクワードを検出したことを知らせるRTOS通知を受けるべく待機します(リスト2)。

void appTask(void *arg)
{
...    // Create audio processing task
    if (xTaskCreate(audio_processing_task, "Audio_processing_task", 1536U, NULL, audio_processing_task_PRIORITY, &xAudioProcessingTaskHandle) != pdPASS)
...    // Create pdm to pcm task
    if (xTaskCreate(pdm_to_pcm_task, "pdm_to_pcm_task", 1024U, NULL, pdm_to_pcm_task_PRIORITY, &xPdmToPcmTaskHandle) != pdPASS)
... 
    RGB_LED_SetColor(LED_COLOR_OFF);
    SLN_AMP_WriteDefault();
    uint32_t taskNotification = 0;
    while (1)
    {
        xTaskNotifyWait(0xffffffffU, 0xffffffffU, &taskNotification, portMAX_DELAY);
        switch (taskNotification)
        {
            case kWakeWordDetected:
            {
                RGB_LED_SetColor(LED_COLOR_BLUE);
                vTaskDelay(100);
                RGB_LED_SetColor(LED_COLOR_OFF);
                 break;
            }
            default:
            break;
        }
        taskNotification = 0;
    }
}
リスト2：サンプルの音声フロントエンドアプリケーションで、メインアプリケーションタスクのappTaskは、音声処理とマイクロフォンデータの変換を処理するタスクを開始し、ウェイクワードが検出された(kWakeWordDetected)というFreeRTOS通知(taskNotification)を受けるべく待機します。(コード提供：NXP)

　次に、このサンプルアプリケーションの音声処理タスクは、ウェイクワードファームウェア機能の初期化とウェイクワード検出パラメータの初期化を行った後、同じく永久ループに入って、処理済みマイクロフォンデータが利用可能になったことを知らせる、マイクロフォンデータ変換タスクからのFreeRTOS通知を受けるべく待機します。

　この時点で音声処理タスクは、Intelligent Toolboxのファームウェア関数の呼び出しによって音声データの処理と、ML推論エンジンを使用したウェイクワード検出を行います(リスト3)。

void audio_processing_task(void *pvParameters)
{
...
    SLN_AMAZON_WAKE_Initialize();
    SLN_AMAZON_WAKE_SetWakeupDetectedParams(&wakeWordActive, &wwLen);
    while (1)
    {
        // Suspend waiting to be activated when receiving PDM mic data after Decimation
        xTaskNotifyWait(0U, ULONG_MAX, &taskNotification, portMAX_DELAY);
... 
       // Process microphone streams
        int16_t *pcmIn = (int16_t *)((*s_micInputStream)[pingPongIdx]);
        SLN_Voice_Process_Audio(g_externallyAllocatedMem, pcmIn, &s_ampInputStream[pingPongAmpIdx * PCM_SINGLE_CH_SMPL_COUNT], &cleanAudioBuff, NULL, NULL);
        // Pass output of AFE to wake word
        SLN_AMAZON_WAKE_ProcessWakeWord(cleanAudioBuff, 320);
        taskNotification &= ~currentEvent;
        if (wakeWordActive)
        {
            wakeWordActive = 0U;
            // Notify App Task Wake Word Detected
            xTaskNotify(s_appTask, kWakeWordDetected, eSetBits);
        }
    }
}

リスト3：サンプルの音声フロントエンドアプリケーションでは、音声処理タスクがファームウェアのウェイクワードエンジンを初期化し、マイクロフォンデータが利用可能であるというFreeRTOS通知を受けるべく待機し、最後にXP Intelligent Toolboxのファームウェアアナログフロントエンド(SLN_Voice_Process_Audio)とウェイクワード検出用NML推論エンジン(SLN_AMAZON_WAKE_ProcessWakeWord)を呼び出します。(コード提供：NXP)

　ウェイクワードを検出すると、音声処理タスクはFreeRTOSタスク通知を発行してそのイベントをメインアプリケーションタスクであるappTaskに知らせます。appTaskは、その通知を受けるとすぐに青色LEDを点滅させます(再度リスト2参照)。

　フルAlexaサンプルアプリケーションは、シンプルな音声フロントエンドアプリケーションで説明したのと同じパターンに従いますが、基本コードベースでAlexaの全機能をサポートするように大幅に拡張されています。

　たとえば、AlexaサンプルアプリケーションでML推論エンジンがウェイクワードを検出すると、音声処理タスクはAlexaの処理シーケンスの各段階に関連付けられた一連のFreeRTOS通知を実行します(リスト4)。

void audio_processing_task(void *pvParameters)
{
...
    SLN_AMAZON_WAKE_Initialize();
    SLN_AMAZON_WAKE_SetWakeupDetectedParams(&u8WakeWordActive, &wwLen);
    while (1)
    {
        // Suspend waiting to be activated when receiving PDM mic data after Decimation
        xTaskNotifyWait(0U, ULONG_MAX, &taskNotification, portMAX_DELAY);
...
        int16_t *pcmIn = (int16_t *)((*s_micInputStream)[pingPongIdx]);
        SLN_Voice_Process_Audio(g_w8ExternallyAllocatedMem, pcmIn, &s_ampInputStream[pingPongAmpIdx * PCM_SINGLE_CH_SMPL_COUNT], &pu8CleanAudioBuff, NULL, NULL);
              SLN_AMAZON_WAKE_ProcessWakeWord((int16_t*)pu8CleanAudioBuff, 320);
        taskNotification &= ~currentEvent;
         // If devices is muted, then skip over state machine
        if (s_micMuteMode)
        {
            if (u8WakeWordActive)
            {
                u8WakeWordActive = 0U;
            }
             memset(pu8CleanAudioBuff, 0x00, AUDIO_QUEUE_ITEM_LEN_BYTES);
        }
        if (u8WakeWordActive)
        {
            configPRINTF(("Wake word detected locally\r\n"));
        }
        // Execute intended state
        switch (s_audioProcessingState)
        {
            case kIdle:
                /* add clean buff to cloud wake word ring buffer */
                continuous_utterance_samples_add(pu8CleanAudioBuff, PCM_SINGLE_CH_SMPL_COUNT * PCM_SAMPLE_SIZE_BYTES);
                if (u8WakeWordActive)
                {
                    continuous_utterance_buffer_set(&cloud_buffer, &cloud_buffer_len, wwLen);
                    u8WakeWordActive = 0U;
                    wwLen = 0;
                    // Notify App Task Wake Word Detected
                    xTaskNotify(s_appTask, kWakeWordDetected, eSetBits);
                    // App Task will now determine if we begin recording/publishing data
                }
                break;
...            case kWakeWordDetected:
                audio_processing_reset_mic_capture_buffers();
                // Notify App_Task to indicate recording
                xTaskNotify(s_appTask, kMicRecording, eSetBits);
                if (s_audioProcessingState != kMicRecording)
                {
                    s_audioProcessingState = kMicCloudWakeVerifier;
                }
                configPRINTF(("[audio processing] Mic Recording Start.\r\n"));
                // Roll into next state
            case kMicCloudWakeVerifier:
            case kMicRecording:
                micRecordingLen = AUDIO_QUEUE_ITEM_LEN_BYTES;
                if (u8WakeWordActive)
                {
                    u8WakeWordActive = 0U;
                }
                 // Push data into buffer for consumption by AIS task
                status = audio_processing_push_mic_data(&pu8CleanAudioBuff, &micRecordingLen);
...
    }
}

リスト4：フルAlexaアプリケーションの場合、音声処理タスクは、Alexaシーケンスにおける後続の音声処理段階を管理する追加のコードにより、音声フロントエンドアプリケーションで実行される処理ステップを拡張しています。(コード提供：NXP)

　ローカルMLウェイクワード検出の後、フルAlexaアプリケーションの音声処理タスクは、上で説明したのと同様にメインアプリケーションタスクに通知します。加えて、ローカルで検出したウェイクワードを含んだ元のデータストリームを失うことなくAlexaクラウドでスピーチ処理するため、マイクロフォンを有効にしたまま全音声入力をキャプチャする場合の音声処理ステートも管理する必要があります。この全データストリームは、ウェイクワードの検証とさらなるスピーチ処理のためAlexaクラウドに渡されます。

　この処理シーケンスの各段階において、音声処理タスクは対応するFreeRTOS通知をメインアプリケーションタスクに対して発行します。音声処理タスクの場合と同様、フルAlexaアプリケーションでは、音声フロントエンドアプリケーションでシンプルな形で実現されたメインアプリケーションタスクのパターンが拡張されています。

　つまり、フルAlexaアプリケーションのメインアプリケーションタスクであるappTaskは、Alexaクラウドへの送信用とAmazon AVS UXアテンションシステム要件に準拠したキットLEDの管理用の両方のイベントを生成します。

　たとえば、ウェイクワード検出後にマイクロフォンを有効にしたままの場合、音声処理タスクはメインアプリケーションタスクに通知し、メインアプリケーションタスクが該当のUXアテンションステート(濃いシアン色のLEDインジケータ)を設定します(リスト5の黄色の強調部分と再度リスト4の対応する強調部分を参照)。

void appTask(void *arg)
{
...
    // Create audio processing task
    if (xTaskCreate(audio_processing_task, "Audio_proc_task", 1536U, NULL, audio_processing_task_PRIORITY, &xAudioProcessingTaskHandle) != pdPASS)
... 
   // Create pdm to pcm task
    if (xTaskCreate(pdm_to_pcm_task, "pdm_to_pcm_task", 512U, NULL, pdm_to_pcm_task_PRIORITY, &xPdmToPcmTaskHandle) != pdPASS)
...
    while(1)
    {
        xTaskNotifyWait( ULONG_MAX, ULONG_MAX, &taskNotification, portMAX_DELAY );
        if (kIdle & taskNotification)
        {
            // Set UX attention state
            ux_attention_set_state(uxIdle);
            taskNotification &= ~kIdle;
        }
        if (kWakeWordDetected & taskNotification)
        {
            if (reconnection_task_get_state() == kStartState)
            {
                if (!AIS_CheckState(&aisHandle, AIS_TASK_STATE_MICROPHONE))
                {
                    // Set UX attention state
                    ux_attention_set_state(uxListeningStart);
...
                    // Begin sending speech
                    micOpen.wwStart = aisHandle.micStream.audio.audioData.offset + 16000;
                    micOpen.wwEnd = aisHandle.micStream.audio.audioData.offset + audio_processing_get_wake_word_end();
                    micOpen.initiator = AIS_INITIATOR_WAKEWORD;
                    AIS_EventMicrophoneOpened(&aisHandle, &micOpen);
                     // We are now recording
                    audio_processing_set_state(kWakeWordDetected);
                }
            }
            else
            {
                ux_attention_set_state(uxDisconnected);
                audio_processing_set_state(kReconnect);
            }
             taskNotification &= ~kWakeWordDetected;
        }
...
        if (kMicRecording & taskNotification)
        {
            // Set UX attention state and check if mute is active
            // so we don't confuse the user
            if (audio_processing_get_mic_mute())
            {
                ux_attention_set_state(uxMicOntoOff);
            }
            else
            {
                ux_attention_set_state(uxListeningActive);
            }
             taskNotification &= ~kMicRecording;
        }
リスト5：フルAlexaアプリケーションでは、メインアプリケーションタスクがAlexa認定要件に準拠したLED照明の制御を含むAlexaの処理シーケンスをオーケストレートします。(コード提供：NXP)

　フルAlexaアプリケーションのメインルーチンでは、音声フロントエンドアプリケーションにシンプルな形で実装されているパターンも同様に拡張されています。この場合、メインアプリケーションは、さらに多くの初期化処理のためのタスクに加え、キットのボタンの処理、OTAアップデートをサポートするタスクなどのFreeRTOSタスクも生成します。

　これらのサンプルアプリケーションを土台にすることで、開発者は自信をもって自身のi.MX RT106Aベースの設計にNXP MCU Alexa Voice IoT SDKを使用したAlexa Built-In機能を実装することができます。

　この実行プラットフォームはAVS for AWS IoT Coreを最大限に活用しているため、開発者はますます高度化していくIoTアプリケーションの基盤における低コストでリソースの制約されるデバイスに、より広くAlexa搭載ソリューションをデプロイすることができます。

　Amazon Alexa Voice Serviceによって、開発者がEchoスマートスピーカの急速な成長の原動力となっているのと同一の音声アシスタント機能を実装することが可能になりました。以前は、誰もが求めるAlexa Built-In認定を取得できる製品は、相当なローカルメモリと高性能な処理能力を備えた実行プラットフォームを必要としました。

　AVS for AWS IoT Coreを使用して製作されたNXP社のキットは、マイクロコントローラと関連ソフトウェア実行環境を使用した、Alexa Built-In機能に対するドロップインソリューションです。



免責条項：このウェブサイト上で、さまざまな著者および/またはフォーラム参加者によって表明された意見、信念や視点は、Digi-Key Electronicsの意見、信念および視点またはDigi-Key Electronicsの公式な方針を必ずしも反映するものではありません。