利用3D TOF的输出通过AI技术输出人体骨骼关键点信息姿态推测软件

概要

据悉,护理设施因摔倒、坠落而发生的事故占事故总体的一半以上,如果可以减少事故,将可大幅度减轻护理设施的负担。要想方便在护理设施使用,则需满足可在阳光照射、夜间黑暗环境下均可运行的条件。要想避免对护理对象造成负担,还需拥有可保护隐私的感测技术方可实现。
欧姆龙在OKAO Vision*中应用采用了AI技术的算法开发技术,可基于这种技术构建姿态推测所需的算法。采用AI技术、基于B5L型3D TOF传感器模块输出的距离数据推算人体骨骼关键点的姿态推测技术可掌握人体状态,不易受到阳光照射的影响,还可在黑暗环境下运行,并实现了可保护隐私的感测效果。
基于骨骼关键点信息开发算法,可定量识别人体姿态、分析骨骼关键点,因此我们认为可灵活应用于人体摔倒或坠落的推算。

何谓姿态推测

何谓姿态推测:可检测的骨骼

姿态估计是一项采用B5L型3D TOF传感器模块输出的距离数据、通过AI技术推算人体骨骼关键点并输出坐标的技术。基于这个骨骼关键点可定量识别人体姿态,因可理解人体姿态,所以一般被称作姿态估计,也被称作骨骼关键点检测。
作为姿态估计的应用范例,我们认为用户可通过算法分析这个骨骼关键点,将其灵活应用于人体摔倒或坠落的推算。

开发背景

高龄化社会导致护理对象不断增加,由此使护理设施的劳动力严重短缺问题长期化,预计未来还将进一步恶化。
据悉,护理设施因摔倒、坠落而发生的事故占事故总体的一半以上,事故的应对或事后应对给护理设施带来了很大的负担。要想减轻负担,推测可能已发生事故时,如果先远程查看护理对象的状况、必要时立即赶往护理对象房间,这样即可节省劳动力。但是,如果在护理对象房间安装摄像头,则往往会因隐私问题而遭拒绝。
应用基于B5L型3D TOF传感器模块输出的距离数据推算人体骨骼关键点的姿态推测技术、开发算法成为保护隐私并掌握人体状态的有效解决对策。
此外,欧姆龙在OKAO Vision*中应用采用了AI技术的算法开发技术,通过深度学习可基于这种技术构建姿态推测所需的算法。

“OKAO”、“OKAO Vision”是欧姆龙株式会社在日本及其他国家的商标或注册商标。

利用保护隐私的3D TOF输出、通过AI技术输出人体骨骼关键点信息

姿态推测的特点

通过采用AI技术的算法优化人体状态掌握精度

我们基于OKAO Vision*的技术开发了深度学习方式的高精度算法,以便B5L型可通过与人体的距离测量输出并采用AI技术使人体骨骼关键点得到优化。
通过深度学习,可减少护理对象的骨骼关键点向他人、椅脚或桌脚的转移。

视频中显示了追踪1人到3人坐姿、蹲姿等的姿态推测所实现的高精度骨骼关键点。

OMRON 姿态推测软件 -还可保护隐私的软件-

无需GPU即可执行边缘处理的处理技术

将通过PC或移动等设备组装执行动作的图像感测商品OKAO Vision*开发中长期积累的小型、高速化技术应用于本商品,由此可有效提高在PC上的运行效率,用户无需在主机侧设置类似于GPU的装置。

无论在阳光照射下、还是无照明的夜间均可稳定运行a

为了完善护理对象的生活环境而设置了窗口时会有阳光射入。通过B5L型的抗外部干扰光特性,无论是阳光照射的环境、
还是无照明的夜间,B5L型均可输出与护理对象的距离数据。
基于这个距离数据并通过本公司开发的算法推算骨骼关键点。

注. B5L型会使LED发光以便进行距离测量,所以即使在无照明的夜间也可进行距离测量。

由此可见,即使打开窗帘、在阳光照射的环境下,对姿态推测的骨骼关键点推算的影响也很小。

OMRON 姿态推测软件 -无论在阳光照射的环境下还是无照明的夜间均可输出-

概要规格

概要规格:骨骼关键点
项目 规格
B5L设置 *1 Roll方向:与地面平行
Pitch方向:与人体平行或斜上方
(0~-60°)
B5L设置高度 *1 1.8~2.5m
检测距离 *1 0.5~3.0m
检测条件 *1 可看见13个骨骼关键点中7个的人体
最大检测数量 *2 3
输出关键点 *3 针对上图13个骨骼关键点的
位置坐标(x,y)和可靠性
人体检测 包括
对象设备 笔记本电脑 *无需GPU
可检测的姿态 坐、站、走、蹲、横卧
* 可检测上述姿势时的骨骼关键点
处理速度 *4 约5FPS

*1 根据设置高度、摄像头角度、B5L与人体的距离,因太近等原因使捕捉到视角内的骨骼关键点未达到7个以上的人体可能无法检测或坐标错误。
*2 捕捉到4人以上时,则会在内部对人体骨骼关键点的可靠性进行综合判定,并输出结果中的前3人。每帧可输出不同的3个人。
*3 被某物体遮挡而未能捕捉到的骨骼关键点可靠性较低,可能出现被输出的倾向。
*4 针对Intel Core i7 CPU@3GHz时的本公司DB中具有代表性的图像值。

系统配置范例

B5L型3D TOF传感器模块与姿态推测软件配套使用时,需配备安装了姿态推测软件的主机PC。
下图是将B5L型3D TOF传感器模块的输出数据通过安装于主机PC的姿态推测软件推算骨骼关键点、输出XY坐标、然后由用户通过分析软件判定是否摔倒/坠落并向护理人员发送判定结果的系统范例。

系统配置范例:护理应用软件、监护应用软件

应用程序范例

抽取人体骨骼关键点信息

应用程序范例:护理:监护

护理/监护

应用范例

可基于姿态推测的骨骼关键点数据推算是否摔倒等。

应用程序范例人体摔倒或坠落的推算

评估专用软件

想要对姿态推测软件进行评估的用户,请通过咨询表单、或向销售欧姆龙商品的销售店、本公司业务员进行咨询。

服务中心eService

服务中心eService