云思观心多模态身心认知大模型
让机器懂得察言观色,懂得人的喜怒哀乐

云思观心多模态身心认知大模型是云思创智历时5年自主构建研发,已获国家网信办算法备案 (网信算备320105247879901240019号) ,模型利用先进的多模态大模型融合技术,通过远程非接触无感知的方式采集并分析人的身心状态外化特征,包括微表情、肌肉震颤、生理指标(心率、血压)、语音语调、眼动眼线等。结合基于Transformer和动态置信度的多模态融合框架进行跨模态语义映射,精准感知环境变化与人的身心活动,增强机器对人身心状态的理解能力,让每一个机器人都成为有独特个性的智能体终端,最终实现生命级人机互动新范式,引领具身智能2.0时代。

依托大模型的强大能力,我们构建了多模态身心认知大模型全场景智能体平台底座,为政法、教育、企业服务、具身智能等多个行业提供高效、智能的解决方案,全面赋能千行百业加速迈向智能化未来。

多模态数据采集分析 多模态数据采集分析
跨模态信息融合理解 跨模态信息融合理解
模型训练与优化应用 模型训练与优化应用
身心状态认知与评估 身心状态认知与评估
2000+
(小时)
10亿+
(条)
5000+
(份)
300+
(人)
6
(家)
2000+
(个)
data-point

实战谈话

视频

真实多模态

身心认知数据

心理状态

标签数据

数据总覆盖

人次

心理学联合机构

提供数据采集和标注

心理认知

图谱实战模型

2000+(小时)

实战谈话

视频

10亿+(条)

真实多模态身

心认知数据集

5000+(份)

心理状态

标签数据

300+(人)

数据总覆盖

人次

6(家)

心理学联合机构提

供数据采集和标准

2000+(个)

心理认知图

谱实战模型

基于Transformer
的多模态融合技术

基于动态置信度的多模态融合方法。动态计算不同模态对最终预测结果…

基于Transformer
的多模态融合

  • 基于动态置信度的多模态融合方法。动态计算不同模态对最终预测结果的贡献,通过环境感知动态调整置信度,减少模糊模态对最终结果的干扰。
  • 显著提升模型可解释性及多模态情感识别准确率。

基于知识蒸馏的小样本训练优化技术

利用部分重要知识(专家经验)进行知识蒸馏,每个小样本节点通过Teac…

基于知识蒸馏的小
样本训练优化技术备份

  • 利用部分重要知识(专家经验)进行知识蒸馏,每个小样本节点通过Teacher和Student模型进行知识传递。
  • 解决模型部署难题,降低运算成本,提升模型灵活性。

多模态语义
特征提取技术

使用深度学习从面部表情、语音情感等多模态数据中提取与人类身心状...

多模态语义
特征提取技术

  • 使用深度学习从面部表情、语音情感等多模态数据中提取与人类身心状态相关的特征。
  • 为上层应用提供丰富特征支撑,提升对人类情感和行为的理解深度。

多模态大语言模型
(MLLM)
智能体生成技术

融合多模态数据与大语言模型,实现高效整合与预测…

多模态大语言模型 (MLLM)
智能体生成技术

  • 融合多模态数据与大语言模型,实现高效整合与预测。
  • 充分利用预训练资源,拓宽模型适用范围,增强场景适配性。

多模态大模型
Fine-tuning
迁移学习技术

高效Fine-tuning方案,实现多模态大模型的快速迁移…

多模态大模型
Fine-tuning
迁移学习技术

  • 高效Fine-tuning方案,实现多模态大模型的快速迁移。
  • 降低迁移成本,提高模型在不同场景下的适应性和泛化能力。

多模态身心认知
自动化标注技术

结合多模态数据与认知科学理论...

多模态身心认知
自动化标注技术

  • 结合多模态数据与认知科学理论,开发自动化标注算法,实现对人类身心状态的精准、高效标注。
  • 减少人工标注负担,显著提升标注效率与一致性,为模型训练提供高质量、细粒度的多模态认知标签数据,支撑下游智能交互与个性化服务的持续优化。

动态交叉注意力
机制的多模态对
齐与融合技术

在动态路径选择后,对关键模态特征…

动态交叉注意力
机制的多模态对
齐与融合技术

  • 在动态路径选择后,对关键模态特征执行交叉注意力计算,通过注意力权重的动态调整实现多模态信息的互补与融合。
  • 使模型能够根据场景需求自动聚焦关键信息,从而提升情感识别精度与人机交互的共情效果。
40
+
专利申请
20
+
授权发明专利
10
+
国外论文发表
40
+
专利申请
20
+
授权发明专利
10
+
国外论文发表

相比GPT-4o的多模态情感感知模型,云思创智自主研发的全面国产化的模型是基于真实世界专家标注的多模态身心认知模型,可以更好地更全面地解读中国人身心状态

云思创智专注于多模态机器学习与心理情绪分析领域,提供涵盖心理情绪分析系列和产业AIoT系列的软硬一体化解决方案及智能硬件终端产品,广泛应用于教育、政法、企业服务、养老陪护及具身智能等行业,全面满足客户在多样化场景中对情感感知与心理情绪分析的应用需求。

政法
教育
企业服务
全面赋能
解决方案:
"读心神探"心理情绪跟踪解决方案
相关产品:
多模态情绪分析仪
多模态情绪分析
研判系统
政治考核心理测试
系统
多模态标注训练
一体化平台
多模态智能辅助
谈话系统
解决方案:
"祐苗"心理健康动态监测管理系统
相关产品:
心理健康动态监
测管理系统
心理测评智能
辅助终端
心理谈话智能
辅助终端
解决方案:
"全能人才管家"企业人才筛选与评估解决方案
相关产品:
数字人面试官
多模态人才测评系统
解决方案:
"面搭"AI模拟面试平台
相关产品:
AI模拟面试平台-面搭

云思创智专注于多模态机器学习与心理情绪分析领域,提供涵盖心理情绪分析系列和产业AIoT系列的软硬一体化解决方案及智能硬件终端产品,广泛应用于教育、政法、企业服务、养老陪护及具身智能等行业,全面满足客户在多样化场景中对情感感知与心理情绪分析的应用需求。

科技部"国内领先"认定
通过科技部科技查新
获得江苏省心理学会
科学技术成果评价报告
公安部第三研究所权威认证
《人工智能关键技术 多模态大模
型技术要求》行业标准参编单位

让机器懂得察言观色,懂得人的喜怒哀乐
多模态身心认知大模型 全场景智能体平台底座提供商