# Jens Brehm Bagger Nielsen：AI助力实现助听器的个性化：偏好优化器和偏好传感器的结合使用
-
WSA集团AI accelerator部门负责人
-
在AI和数据驱动领域拥有丰富的研发经验，十余年唯听及WSA集团工作经验，历任技术项目经理和数据科学负责人
-
丹麦技术大学电子工程硕士，应用数据与机器学习博士
我会从一个小小的破冰环节开始。如今在提到人工智能和机器学习时，很多人都会有这种印象，人工智能和机器学习能马上解决所有问题。
让我们先来看看这个小例子，这里看到一个卡通小人，我们试图要做的是让人工智能模型学会如何控制卡通小人的身体。有很多方法可以做到这点，其中一种方式就是所谓的强化学习。让人工智能系统尝试不同的方案去控制身体。在很多次尝试、失败和摔倒之后，人工智能引擎就能学会解决一些相当简单的任务。所以你可以看到，卡通小人经过学习，能够奔跑并且避免撞到墙。并且任务完成的方式，不是人类会用的方式，而是让人工智能和机器学习找到解决办法。
当我们运用人工智能技术研究助听器和听力的时候，需要明白一点， 一切都是为终端用户解决问题。要确保技术运用中尽量少出现失败。
2015年全世界都在谈论大数据。大家都认为大数据时代，数据可以为你解决所有问题。但当时还是缺乏一些切实可行的实践。而后，大家开始意识到，叠加了人工智能的大数据时代，才能真正发挥其所长。从2017年开始，唯听就开始行动：如何运用机器学习和数据，要运用到什么程度，能为客户带来些什么？
HHTF
基于整体的思维寻求更优解决方案
助听器和听力学领域的许多工作，都是基于规则展开的。验配公式是基于规则制定的，听力图的使用也需遵循规则，如何开展有效验配，也有系统的规则和流程可依照。如果 加入更多数据，由数据驱动的解决方案， 会不会是新的工作方式？
听力行业有许多拥有丰富经验和知识的人才，我们所做的许多决策都是基于主观的经验和知识进行的。如果 基于事实而做出的决策， 会不会让犯错减少。毕竟事实并不会说谎。
助听器，验配软件和手机应用程序的出现，让助听器得以发挥更强作用，但付出的代价就是不可避免的复杂性。如果更多采用数据驱动和机器学习的方式， 就能简化工作任务，让系统更直观。
要实现最优解决方案，需要四个关键要素。
- 数据仓库
1. 以道德且正确的方式收集数据。在欧洲有通用数据保护条例GDPR，为使用用户数据制定了相应规则。
2. 灵活运用数据。新产生的数据要如何专业地处理，以及储存的位置，都需要考虑。
- 超强的运算能力
机器学习需要硬件支撑。同时由于助听器的小体积限制，如何保证较低功耗的运行是关键。
- 机器学习
清楚机器学习的用途，用之构建系统。多维度高复杂的工作由机器学习承担，由人类负责需要直觉和推断的工作。
- 数据收集
在遵循欧洲通用数据保护条例GDPR的前提下，为机器学习尽量提供多的数据，以让其得到更好的进步。
HHTF
偏好优化器Preference Optimizer
我会讲讲唯听是如何使用人工智能。基于两个视角进行分析：偏好优化器Preference Optimizer，以及偏好传感器Preference Sensor。
第一个视角：偏好优化器。下图为唯听的手机应用程序中的操作界面。
这一系列界面展示了我们的 智能声景学习功能SoundSense Learn。
当你激活该功能时，系统会询问用户当前所处的环境，正在进行的活动,以及你希望达到的聆听效果是什么。比如希望减少更多背景噪音。
用户点击相对应的标签项后，系统会跳转到下一界面，提供两种经过不同参数配置处理的同一段音频，用户通过对比AB段音频，选择更为偏好的程度。通过多次的AB段音频偏好选择后，系统根据用户的偏好数据进行训练，完成声景学习功能。这之后，系统就能自动预测未来在这样的场景下你更偏好的聆听习惯。而在其他界面里，智能声景学习也会监测用户在该环境中偏好设定的学习进度。
如图举例，假定助听器的参数配置是三维的，任意三维度的参数配置得出的效果,我们在图中以黄色和蓝色进行区分。蓝色代表用户不太满意，黄色代表满意。我们假定 环境（Environment） 是用户在森林中散步，需要思考助听器什么样的参数配置是最好的，什么样的参数配置是不合适的。而智能声景学习功能则是用户环境和助听器之间传递信息的 中介（Agent）， 通过让用户评估两种不同的参数设定，即评定上述三维图中的两点。基于评估，助听器就能基于偏好函数，运用统计方法和机器学习模型，准备好用户未来两端需要评估的参数设定。从而实现基于偏好函数，尽快和有效找到最大值，也就是得到用户最为偏好的参数设定。同样的，在另一种环境下的偏好函数会有所不同，需要助听器再次重复学习过程。
在智能声景学习功能背后，实际发生了什么呢？
这是一维的可视化数据，也是该功能背后的机器学习模型的小型模拟。这里的参数X 代表了助听器不同的参数设置，Y轴代表偏好函数f(x)。虚线则是对偏好函数的平均预测。智能声景学习在不同的地方都会存在偏好函数上的不确定性（虚线的变化）。交叉点代表的是用户评估过的配置参数。交叉点集中的地方，代表着趋向的最大化偏好函数。而这其中最明显的大圆点，则代表着智能声景学习功能为改善预期所计划的下一步预估配置参数。
相对应的下图，可反映出哪些区域可以获得最大化的预期改善。例如绿色箭头的峰值表示可以获得最大化的预期。基于此，智能声景学习功能可以更聪明和更快的做出预估。
下图为智能声景学习的过程展示。 智能声景学习运用低、中和高音三波段均衡器进行助听器配置参数的变化。 在该参数空间中，单独的两个设定会单独提取给到用户进行比较和评估。在此基础上对整个参数空间中的偏好函数进行预测，用于指导智能声景学习功能的下一次预判。
HHTF
偏好传感器Preference Sensor
这个功能在唯听已经运用多年，并运用其收集数据。目前我们收集到了 10万多组数据， 全部都带有环境标签，A/B对比的偏好结果，以及声景学习的进度。我们将这样一套完整的数据称呼为数据点。
我们试着筛选出全球用户中100%完成声景学习（需要12-24次的用户偏好评估），基于某种的环境标签（X）——例如电影院——的所有数据点。基于这些数据点，我们进行高斯过程模型（机器学习模型的一种）的训练，得出如下模型。
此处仅展示机器学习统计数据中的平均偏好函数。绿色表示用户反馈偏好，蓝色表示偏差。不同环境标签下的模型均是不同的。
可以发现，不同的用户在影院的聆听偏好也是有所不同的。但这模型还是能一定程度上反映群体用户的偏好。下一步，我们可以合成真实用户的偏好函数。首先还是基于同一环境标签，采取具有类似偏好的用户数据，找出他们的偏好函数最大值。
最终通过重复采样2000次，我们得出了 云团。 数字越小，代表越多的用户偏好其所指代的配置参数。
就全世界用户的偏好，我们总结出电影院环境下六种不同类型的配置参数。同理，也得出交通环境下四种不同类型的配置参数。
因此我们基于这些用户偏好及偏好预设，扩展了智能声景功能的运用。 允许系统对用户推荐不同的预设值。 虽然用户需求千差万别，偏好传感器的预设推荐功能未必100%精准，但能帮助我们更好了解用户在现实生活中的使用习惯。
自此，我们终于可以形成有效的闭环，为用户提供更全面和有效的服务。同时用户也让我们知晓助听器运行的状态，更清楚用户关注的特定聆听环境。尤其是引入的机器学习体系，能让我们更有效的获得数据，并再进行学习。
唯听一直追求的是 真实性。 关注现实生活中用户的真实反馈，以及特定环境下变化的诉求。这是一切工作的意义。
现场互动Q&A
Q:
唯听的AI是通过用户的主动反馈，随后调整助听器内部的参数。主要是哪些参数涉及到了调整？这种调整是仅仅单纯的均衡器（增益、压缩）调节，还是也涉及到了降噪和反馈等其他参数的调节。
现阶段，我们只涉及到均衡器的处理。在My Sound功能模块里面，由AI进行驱动
同时智能声音场景分类器，以及基于声音场景分类的自适应系统功能也会保持运作的状态，以确保用户得到好的效果
Q:
如果这个调节是不涉及到降噪的参数变化。如果用户聆听环境发生变化了，会不会导致前面AI算法调节的参数，就没有办法继续发挥作用了。
如前面所讲，唯听助听器的验配调节，更多是依靠验配数据进行。所以智能声景调节的功能，只是基于现有的验配数据进行小范围调节，并不会覆盖之前的数据配置。
Q:
一个患者每次验配可能持续很多次的AB TEST，这些反复操作的数据有价值吗？还是只关注最后用户认为满意时的验配记录？
在得到允许的前提下，用户的所有AB对比数据会被匿名收集，此智能声景学习功能会根据这些数据进行学习。
Q:
历史用户的偏好性如何体现在新用户上来加快验配呢？
现阶段的话，我们还没有直接将历史偏好直接用于新用户上。我们的验配软件中有一个功能叫“Real-Life Insights”(译者注：该功能尚未在中国开放)。在获得用户允许的情况下，验配师可以获得用户偏好数据，例如智能声景学习功能下用在下一次面对面验配服务中可以提出更有效的改善意见。
扫码查看回放
健康听力技术论坛
往期回顾
随着TWS耳机的飞速发展、辅听产品技术的日新月异，以及美国FDA发布OTC助听器草案的政策驱动下，未来五年，助听产品和辅听产品的跨界与整合将成为主流趋势。
在行业变革时代背景下，北京听力协会主办了「健康听力技术论坛」，长期为大家提供发声的平台。论坛持续以每期两位嘉宾、不固定更新上线的形式长期举办。
期待声学领域、TWS领域、辅听及助听领域的专家、学者，以及产业供应链上中下游多方代表积极参与论坛并发表演讲。我们希望通过论坛的举办，搭建行业平台，促进产品变革，推动技术发展，为轻中度听损人士及健听人士提供更合适的听力保护及听力辅助方案，实现「全民健康听力」这一终极目标。
作者：Jens Brehm Bagger Nielsen
编辑：皇甫甜
排版：皇甫甜
「行业报告」
「案例沙龙」
「小儿听力学」
「临床听力师」
沙龙资讯、 沙龙回顾
「技术论坛」
论坛资讯、 论坛回顾
「合作联系」
