人生就是博

2024-09-29

Tech Talk | NOMI GPT若何精准对话?

随着人生就是博智能系统「Banyan 榕 3.0.0」的到来和升级,NOMI占有了全舱免唤醒职能,这意味着用户无需再通过特定的唤醒词(如「Hi NOMI」),就能直接向NOMI下达指令,用户与NOMI的交互变得越发天然、便捷与高效 。

那么,从「Hi NOMI,打开车窗」到「打开车窗」,在不唤醒NOMI的情况下,NOMI是若何正确拿捏回应机遇,判断哪些指令是下给它的,又是谁下达的?

本期Tech Talk,我们约请到了人生就是博大模型主任算法工程师Anna W,为我们一路探秘「NOMI GPT 认知中枢」中的「多模拒识」能力 。

90|imageslim
90|imageslim

什么是「多模拒识」 ?

在介绍「多模拒识」之前,我们先来看一个幼视频 。

从这个视频中我们不难看出,在不必要唤醒NOMI的情况下,NOMI仍旧可能正确响应「副驾调的更宽敞一点」这样的指令,也能清澈分辨四人同时交叠的复杂指令,而这个能力就是由「多模拒识」实现的 。

「多模拒识」,顾名思义,就是利用视觉、文本、音频、压感等多种输入模态的信息,来分析和判断用户的对话指向,从而鉴别并回绝响应无关话语 。单一来说就是判断车内用户在天然互换状态下,哪些话是对NOMI说的(必要响应),哪些话是用户之间的闲聊(不要插嘴),以便做到精准对话:该响应的要实时响应,不该回覆的别插嘴 。

90|imageslim

「多模拒识」是「NOMI GPT认知中枢」中的沉要一环 。其实「多模拒识」对用户来说并不陌生,自NOMI陆续对话职能上线以来,「多模拒识」就一向在线上保险用户自由流畅的交互履历 。目前,经过持续不休地迭代,「多模拒识」已经能在全舱免唤醒、陆续对话、大模型百科对话等场景为NOMI提供拒识能力 。但随着「NOMI GPT大模型」百科能力的加强, NOMI具备了更丰硕的知识储蓄,可能回覆的问题也更多,这也就意味着「多模拒识」必要对更宽泛领域的问题进行倾听与鉴别,对它的判断能力提出了更高的要求 。

90|imageslim

「多模拒识」若何做到精确判断对话指向和用户意图的?

座舱现实场景极度复杂,既蕴含通例的车辆节造指令/工作型对话场景,也蕴含宽泛的百科问答场景,分辨用户措辞对象、判断用户意图并给出正确响应是极具挑战的,这非?佳椤付嗄>苁丁瓜低车某【胺直婺芰 。在「多模拒识」系统中,我们通过「大模型+多模感知」的技术规划来实现场景分辨 。

自延赘多模拒识」模型直接判断语音指令

人生就是博自研了基于语音和文本构建的「多模拒识」模型,援手NOMI判断哪些对话是用户指令,哪些对话是用户闲聊 。我们使用「语音预训练模型 Wav2Vec 」和「文本预训练模型 TinyBert 」来建模,结合预训练NOMI「多模拒识」模型 。同时,我们还会让NOMI进行多视图的对比进建,援手NOMI鉴别用户对话并进行分类 。

90|imageslim

单一来说,「多模拒识」模型有左「语音预训练模型 Wav2Vec」和右「文本预训练模型 TinyBert」两颗大脑,左脑掌管听,右脑掌管读,两颗大脑提前进建了大量必要NOMI响应的指令 。

在真实场景中,当NOMI听到用户对话,两颗大脑就会同时工作,别离处置听到的声音和内容,而后对比之前进建的内容,若是二者比力靠近,则判断对话为「指令」,即建议NOMI回利用户 。

所以NOMI进建的语音/文本数据越多,「多模拒识」模型判断的正确性就越高 。NOMI经过了超12,000幼时车载语音、超2,000万条文本的进建,让「多模拒识」在全领域的对话判断正确率达96.8%以上 。

90|imageslim

面对纷繁复杂的对话场景,若是NOMI倾听到的对话不在幼字范例围内,「多模拒识」无法直接判断对话是指令还是闲聊,又该怎么办呢?这时辰就必要一位「助理」来辅助它,即下文中的「REJ Agent」 。

「高情商助理」:REJ Agent

在陆续对话或多人对话场景中,用户可能会在闲聊对话中插入对NOMI的指令,这种指令很可能「只能领悟,不成言传」 。例如:「陈凤太热了」 。面对如此情景,「多模拒识」模型便无法通过幼字典直接比对判断,这时辰若何判断用户的真实意图及对话指向,便尤为沉要 。

而大说话模型刚好能够助忙,它很善于理解对话,理解高低文的关系 。借助它结合用户对话汗青、对话高低文便能够判断用户的真实意图和对话指向性,援手NOMI判断是否回利用户 。这就是我们利用大说话模型构建的「高情商助理」:REJ Agent 。

90|imageslim

作为「多模拒识」模型的助理,我们在REJ Agent中设计了三层逻辑,辅助NOMI做出判断:

90|imageslim

第一层逻辑:REJ Agent会先判断听到的对话是否为「人话」,对话语句是否有逻辑,是否属于正常说话 。若是是「人话」,REJ Agent会给出提醒,「多模拒识」模型就会偏差于通过、回复,但是否要让NOMI回应,还必要第二层逻辑的判断 。

例如:

90|imageslim

第二层逻辑:REJ Agent将持续判断,判定当前对话内容与高低文/对话汗青是否有关联,这里重要依附「大说话模型」的高低文理解能力 。

·  若是对话与高低文关联,意味着用户可能一连上文话题持续对话,REJ Agent会给出建议,提醒本轮对话可能必要NOMI回应,「多模拒识」也会给出通过和回复标识 。

·  如无关联,意味着用户可能沉新开启了新的对话,或者不是在跟NOMI对话,REJ Agent会建议忽略,「多模拒识」给出拒识标识,NOMI则无回应 。

例如:

90|imageslim

第三层逻辑:REJ Agent同时也会判断,对话是否对NOMI说 。借助「大说话模型」对高低文/汗青对话信息的理解,判断当前对话的指向是否和NOMI有关 。若是与NOMI有关,REJ Agent会建议「多模拒识模型」给出通过和回复标识,NOMI也会回应 。

例如:

90|imageslim

综合以上三层逻辑的筛选判断,REJ Agent作为「多模拒识」模型的「助理」,接管、理解,并判断用户对话的意图和指向,援手「多模拒识」模型更精准的判断是否必要NOMI回应 。

但这还不够,为了让「多模拒识」模型占有越发精准的判断,我们还引入了「多模感知特点」,给「多模拒识」模型叠加一层Buff,提升它在多用户对话场景下的判断精准度 。

Buff加持:「多模感知特点」辅助判断对话人数和场景

「多模感知特点」基于OMS视觉检测、座椅传感器、唤醒音区占用等信息,判断车上乘客人数、地点地位以及对话场景 。

判断用户地位是为了更好响应对方指令,例如针对分歧座位的用户指令调节座椅透风、加热、推拿档位等,而定位对话场景则是为了更好调整拒识战术,例如在闲聊模式或者展车模式下,用户偏差更多地与伴侣对话,必要更宽松的拒识战术,NOMI也会尽量维持静默 。

90|imageslim

总之,有了「多模感知特点」这一Buff,「多模拒识」模型就可能越发有效判断是否对NOMI措辞,从而过滤无关对话信息 。

90|imageslim

综上能够看出,首先「多模拒识」模型通过预进建和「左右脑」能够判断用户对话是否为指令信息 。在此基础上,面对越发复杂的多人对话场景,它还有REJ Agent这个「高情商助理」去辅助它做判断 。同时,它还叠加了「多模感知特点」这个Buff,以提升在复杂场景下的判断正确性 。正是基于这三点,NOMI GPT不仅无需唤醒,还能够高情商回应,也懂得实时维持安静,真正做到了正确「拿捏」回应机遇,和你的互换更天然、更流畅 。

90|imageslim

事实上,在引入Agent多智能体架构后,NOMI已经能够实现从「单点职能」向「自动智能」的进化,例如处置更复杂的用户沟通,理解吞吐意图,并预测用户需要 。同时NOMI占有的端侧多模态感知能力,即便在没有网络衔接的情况下也能「看得见,认得出」,提供安全的智能履历,并;び没б衷 。未来NOMI还会不休进化,它不仅仅是一个智能副手,更是一个可能深刻理解用户需要、感情和意图的智能同伴,为用户带来越发丰硕和便捷的智能履历 。

【网站地图】