用于定制传感器功能的方法和包括传感器的智能设备与流程

    专利查询2025-11-16  2


    本发明涉及计算机领域,尤其涉及基于wasm技术定制传感器功能的技术。


    背景技术:

    1、在智能技术领域,传感器可以应用在自动驾驶、设备检测、环境检测、物流检测、安保检测、健康检测、智能家电、零售行业、卫生保健、农业、智慧城市等方面。

    2、智能设备中的传感器包含针对特定目的开发、训练或定制的计算模型或ai模型等。在本文中将这些模型统称为数学模型。传感器可以利用相应数学模型基于传感器的检测提供计算或推理结果。在此,计算或推理结果的格式可能随着模型的不同而不同。

    3、针对这些不同格式,智能设备需要在现场对后处理结果进行后处理,以获得期望的信息。一种典型的后处理方式是将计算或推理结果转换为可读可视并且结构化的元数据字符流。

    4、如上所述,不同的模型可能输出不同格式的计算或推理结果。由此,为模型定制后处理功能变得比较困难。后处理功能需要由模型开发人员提供。然而,模型开发人员通常并不了解智能设备的软硬件架构,并且开发人员更多地关注后处理的逻辑并确保其与模型的适配。

    5、为了定制后处理功能,应当知晓如何识别特定模型中的数据以及如何与传感器通信。然而,开发人员通常不知晓智能设备的工作环境,并因此很难部署匹配的能够运行在任何智能设备上的后处理功能。当前存在各种利用wasm技术定制后处理功能的方式,但它们都或多或少地存在一些问题。

    6、例如,索尼公司提供的软件开发工具包camera remote sdk并未提供用于传感器控制的通用api。阿里工程师提出的新开发框架waft(webassembly framework forthings)不能提供用于访问ai传感器或普遍传感器以读取数据的api。在us20220198071a1中,wasm技术适用于任务分享以减轻主计算节点的负担,但未提供用于子节点上的任务模拟的方法。cn202210944973、cn202210096203等缺乏沙箱控制,存在安全问题,或者不遵从wasi规格。

    7、另外,目前的模型开发高度依赖几款主流软件框架,例如tensorflow、pytorch、onnx等。一方面,这些框架在某种程度上确实加速了模型的开发过程,但另一方面,数学模型以及可能的后处理程序在部署阶段往往会出现一些问题,而且难以调试,尤其对于一些低级的、有成本效益的工业设备。


    技术实现思路

    1、本发明的目的是提出用于基于wasm技术定制传感器功能的方法和模块,这些方法和模块不具备现有技术中的缺点,且还具有额外的优点。本发明运行开发人员可以只专注于模型后处理的逻辑,而不必关注模型的具体实现和部署。

    2、本发明的一个方面涉及一种基于wasm技术定制传感器功能的方法,其包括:提供针对智能设备中的传感器训练的数学模型以及为所述数学模型定制的后处理程序,其中,所述后处理程序用于对所述数学模型的输出数据执行后处理;将所述数学模型部署在所述智能设备中;将所述后处理程序编译为wasm程序并部署在所述智能设备中;在所述智能设备中提供基于wasi规范定义的接口,所述wasm程序能够通过所述接口访问和操作所述传感器。

    3、本发明的另一个方面涉及一种包括传感器的智能设备,其中,传感器的功能是根据本发明的方法定制的。

    4、本发明的又一个方面涉及一种用于调试数学模型的调试工具,其包括后处理模块和编译器栈,其中,所述后处理模块生成用于所述数学模型的后处理的后处理模板文件,将所述后处理模板文件提供给所述编译器栈,并从运行所述数学模型的运行时接收所述数学模型的输出数据提供给开发人员,其中,所述编译器栈将接收的所述后处理模板文件编译成所述运行时能够执行的执行文件,并将所述执行文件提供给所述运行时,使得所述运行时能够利用所述数学模型生成所述输出数据。

    5、根据本发明,利用wasm技术使得该后处理功能实现跨平台和模块化部署,从而能够在智能设备中定制传感器的特定功能。

    6、另外,根据本发明,开发人员可以很容易地调试后期处理,并有以下好处:不需要强制学习低级语言或雇用特定的硬件工程师来调试;保证执行效率;易于移植。



    技术特征:

    1.一种基于wasm技术定制传感器功能的方法,其包括:

    2.根据权利要求1所述的方法,其中,所述wasm程序与所述后处理程序具有一致的后处理功能。

    3.根据权利要求1所述的方法,其中,所述方法在将所述数学模型部署在所述智能设备中的步骤中还包括调试所述数学模型的步骤,所述调试包括:

    4.根据权利要求3所述的方法,其中,在编译所述执行文件时,

    5.根据权利要求3所述的方法,其中,在获得正确的所述输出数据之后,所述调试工具分析由所述开发人员设定的标准请求,比较所述标准请求和所述输出数据,并且在所述比较的结果不满意时,测试多种调度策略并找到最佳的调度策略。

    6.一种包括传感器的智能设备,

    7.一种用于调试数学模型的调试工具,其包括后处理模块和编译器栈,

    8.根据权利要求7所述的调试工具,其中,所述后处理模块包括:

    9.根据权利要求7所述的调试工具,其中,所述编译器栈包括:

    10.根据权利要求7所述的调试工具,其还包括优化器,所述优化器包括:


    技术总结
    本发明涉及一种基于Wasm技术定制传感器功能的方法,其包括:提供针对智能设备中的传感器训练的数学模型以及为所述数学模型定制的后处理程序,其中,所述后处理程序用于对所述数学模型的输出数据执行后处理;将所述数学模型部署在所述智能设备中;将所述后处理程序编译为Wasm程序并部署在所述智能设备中;在所述智能设备中提供基于WASI规范定义的接口,所述Wasm程序能够通过所述接口访问和操作所述传感器。另外,本发明还涉及一种包括传感器的智能设备,其中,传感器的功能是根据本发明的所述方法定制的。

    技术研发人员:闫冬生,高峰,王红霞,张伯颉
    受保护的技术使用者:索尼半导体解决方案公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-32043.html

    最新回复(0)