文中场景图片来自库茨敦大学

库茨敦大学毕业生设计让 Extron 控制系统成功 “对话” Amazon Alexa

我们的 CT-ToolBox 设计得以顺利通过考核,部分归功于我们在计算机科学与信息技术专业学到的核心知识, 而更重要的帮助是来自 Extron Global Scripter 和 Alexa Skills Kit 软件的用户友好特性, 以及 Extron 等顾问团队给予我们的耐心指导和支持。

Justin Harris, William Henry, Hanna Moyer
CT-TOOLBOX 毕业设计学生团队
宾夕法尼亚库茨敦大学

宾夕法尼亚库茨敦大学诞生于 1866 年,早期名为基斯顿州立师范学校,它为当时日益工业化的伯克斯郡高地培养了大批的师资力量。随后 150 年,学校逐渐发展为当地的重点院校,为约 8000 名学生提供 130 个本科及 31 个研究生学科的教学。近期,该校三名毕业生在导师的指导下完成了名为 “CT-Toolbox (Classroom Technology Toolbox)” 的毕业设计。设计的核心目标是将 Amazon Alexa 与 Extron 控制系统相集成,实现对学院内 Extron 教室视音频系统的语音控制。

项目挑战

为验证设计推广的可行性,由计算机科学与信息技术专业的 Justin Harris、William “Billy” Henry 及 Hannah Moyer 3 名同学组成的项目小组负责创建试点。CT-Toolbox 通过为教室视音频系统添加语音控制指令,能够帮助校方推进支持《美国残疾人法案》的重要承诺。最早提出这一想法的是同为计算机科学与信息技术专业的 Donna DeMarco 教授,他也是某企业在线培训及发展解决方案公司的联合创始人。

解决方案

校方教学技术经理 Ty Schwab 负责为学生项目小组提供技术指导及软硬件资源,并为其特批了一间教室用作试点。Ty 的前任是在这一岗位工作了 35 年的 Troy Weidner,近期退休的他也参与了指导工作。邻居斯克兰顿大学的媒体及控制系统工程师 Robert Kennedy 分享了自己对成功部署 Alexa-Extron 语音控制项目的经验及相关知识,以便同学们能够更快找到自己的方案。Extron 销售及市场经理 Jason Bond 和 Peter Knapp 为项目组提供了 Extron 控制系统驱动及 Extron Global Scripter® 软件编程建议。

集成 Extron 设备的教室视音频讲台用作 CT-Toolbox 测试台

库茨敦大学共有 235 间教室安装有与校园联网的视音频系统, 所有系统采用统一的设计。CT-Toolbox 试点教室的讲台配备有带本地监视器的桌面 PC 和 1 台 Extron IN1608 xi IPCP - 8 路输入图像解析度转换演示切换器。IN1608 xi IPCP 内置视音频控制处理器和 50 W 立体声功率放大器,可兼容各种视音频信号源及显示器。当前的信号源设备主要有:PC、实物展台及蓝光播放器。带 HDMI 输入的投影机可播放视频内容,而音频则通过天花板扬声器来播放。EBP 200 eBUS 按键面板可支持信号源选择、投影机控制及音量控制。对于空间更大的教室,信号切换由 DTP CrossPoint 84 4K 这一 8x4 的图像解析度转换演示矩阵切换器搭配 IPCP Pro 550 控制处理器及 Touchlink Pro 触摸屏来完成。

随着同学们对 Amazon Alexa 的 AWS 文档及 Extron Global Scripter 编程语言的不断深入了解,项目研发逐渐步入正轨。此时他们进行了任务分配: Justin 作为组长,负责硬件、驱动及 GS 控制器编程;Billy 负责 Alexa 编程及 AWS 云计算服务;Hanna 则负责用户体验设计和测试。

Alexa Skills Kit 和 Extron Global Scripter 是 CT-Toolbox 开发的核心工具

文章右侧的架构图显示为通过 Alexa Skill 和 Toolbox Client 两款软件实现音量控制的具体流程。项目组利用 Alexa Skills Kit (ASK) 来定制 Alexa 的功能,使其能够控制讲台的视音频硬件设备。当用户使用触发词 “Toolbox” 向 Echo™ 设备发出语音指令。Alexa Skill 在 AWS 云端将语音转换为 JavaScript Object Notation (JSON) 字符串,传递给 Lambda 函数 (功能应用代码)。Lambda 函数可对照其列表中可代表用户“意图”的 10 到 20 个关键词,将接收到的 JSON 数据解析为可触发硬件操作的指令。该函数由项目组使用 Python 在 Extron GS 平台中编写, 并在 AWS Lambda 云服务器上运行。

Amazon 云与 Extron 控制处理器通信

解析后的指令通过 Amazon 完全托管的信息队列服务 (SQS) 从云端被传输至 Toolbox 客户端。Toolbox 客户端在讲台的 Extron 控制处理器上运行 GS 程序,让控制处理器输出所需指令给对应的硬件设备,如:“打开投影机。” 硬件设备依靠驱动代码来执行命令,它通过与被控设备相应的控制处理器端口 (如:RS-232 串行、USB、以太网端口) 进行通信,使设备按照指令调节为所需状态。此时,被控设备的全新状态将再次被转换为语音确认,由 Alexa 反馈给用户告知命令已执行,整体流程与上述发出指令时相反。

成果反馈

2020 年 11 月下旬,CT-Toolbox 首次试运行,导师团现场聆听了学生小组的成果汇报。他们成功向大家演示了为校内标准教室的视音频系统部署免提语音控制的可行性。 因在面向全校推广时仍存在以下顾虑:云系统的安全性,Toolbox 客户端需交由网络托管而非单个视音频讲台,以及对 Alexa 长期“监听”的警惕。导师 Ty Schwab 表示他们会接受 Donna DeMarco 教授之前提出的 ADA 建议,为有特殊需求的教室部署 CT-Toolbox。当天演示结束后,CT-Toolbox 的设计通过了考核, 三名同学顺利毕业并开启了自己的职业生涯。

必填