当存在时间序列数据时,经常使用使用常微分方程 (ODE) 来确定连续时间隐藏状态的循环神经网络。研究人员团队着手改进这种结构,以“实现更丰富的表征学习和表达能力”。
研究人员写道:“我们不是通过隐式非线性来声明学习系统的动态,而是构建通过非线性互连门调制的线性一阶动态系统网络。”
作为替代方案,研究人员创建了一个液体时间常数 (LTC) 循环神经网络 (RNN)。这种新型循环神经网络的优势在于它在设计上更具表现力,因此本质上更透明和可解释。
这种表现力使研究人员能够更好地了解神经网络的一些“思考”过程,这一好处有助于揭开人工智能机器学习“黑匣子”的一些复杂认知的神秘面纱。
研究小组写道:“由此产生的模型代表了动态系统,其变化的(即液体)时间常数与其隐藏状态耦合,输出由数值微分方程求解器计算。” “这些神经网络表现出稳定和有界的行为,在神经常微分方程族中产生卓越的表现力,并提高了时间序列预测任务的性能。”
为了评估他们的新模型,该团队对他们的液体时间约束递归神经网络进行了大量实验。实验包括训练分类器从运动数据中识别手势,从传感器数据流(温度、二氧化碳水平、湿度和其他传感器)预测房间占用,以及从智能手机数据识别人类活动(例如,站立、行走和坐着)。其他测试包括顺序 MNIST、运动动力学建模以及交通预测、每小时家庭用电量、臭氧浓度水平和更多类型的人类活动。
与其他循环神经网络模型(LSTM、CT-RNN、Neural ODE 和 CT-GRU)相比,研究人员观察到,在关于时间序列预测的七项实验中有四项改进了 5% 到 70%。
人工智能正在跨行业和许多功能迅速扩展。 AI 机器学习变得越灵活、流畅和透明,未来提高 AI 安全性和性能的潜力就越大。
【如果您还没有关注“公司名称”手机网站】