教学电脑看到和听到

开发一个算法重建场景的几何从2 d图像数据总是与主体的限制必须遵守从至少两个不同的观点在同一时间。这就要求主题或相机静止的。横生,这口译现场的相机和对象都是在运动始终是一个基本的计算机视觉领域的绊脚石。

谷歌的今天,作为一个资深研究科学家剑桥,马萨诸塞州,斜面博士Dekel开发了解决这一挑战通过结合基础知识在计算机视觉和深度学习。深入学习——一个子集的人工智能机器可以直接通过观察大量的数据——革新学习计算机视觉和图形。

“教”计算机预测人类的物理维度从2 d图像,Dekel博士发现了一个令人惊讶的新数据来源:成千上万的YouTube视频的“人体模型的挑战”——病毒互联网趋势人们模仿人体模型时被冻结在一个移动的镜头的电影。因为视频的主题是静止不动的,可以准确地估计整个场景的几何形状,包括人。使用大量等视频培训的例子,Dekel博士设计第一次深上优于模型需要输入视频移动相机,准确地解释人类任何移动的几何。这项技术的未来应用numerous-from高级计算机图形效果揭示阻碍物体的视频。

想要听

即使在嘈杂的环境中,人类是能够调整他们的注意力转向一个特定的声音过滤掉周围的时候,外来的噪音。Dekel博士承担的挑战实现这一“鸡尾酒会效应”计算,开发了一个模型中分离重叠在视频音频信号。

关键的想法是使用视觉信号在一个普通的视频处理音频信号。Dekel博士设计了一种基于深度学习模型,分析了视觉面部运动的人来说(如口腔运动)和同事产生声音。模型可以成功区分重叠多个扬声器的音频信号跟踪的一个视频和产生一个干净的演讲中每个人的视频。这个模型有可能解开人类的声音和面临的潜在特性,可能是有用的在各种各样的应用,如生物识别、监视和助听器的改进。

Dekel博士为她赢得了BSc和MSc在电气工程,以优等成绩毕业者,来自特拉维夫大学(2007年和2009年)。在迪士尼实习后瑞士苏黎世联邦理工学院的研究实验室(瑞士联邦理工学院),她返回特拉维夫大学完成博士学位2015年电气工程和计算机视觉。罗斯柴尔德博士后奖学金的支持和推进妇女的以色列国家博士后奖计划科学,在她的丁香,Dekel博士曾在麻省理工学院计算机科学和人工智能实验室(权力)威廉·t·弗里曼教授从2014年到2016年。她是资深研究科学家谷歌的机器感知集团在剑桥,麻萨诸塞州。她将加入系的全体教员魏兹曼科学学院计算机科学和应用数学2020年9月。

Dekel博士被授予教授诺曼·w·罗森博格在特拉维夫大学2013年纪念奖,和一个卓越奖学金从特拉维夫大学电气工程学院的2009年。她获得奖学金RAD数据通信公司于2005年。Dekel博士结婚了,两个孩子的母亲。

Dekel博士是丁香以色列基金会的支持。