访谈背景:在工业制造领域,机器视觉主要面向半导体及电子制造、汽车制造、食品与包装、生物制药等行业,实现缺陷检测、尺寸测量、模式识别、导航定位等功能,从而大幅度提高产品质量和生产效率,并确保工业现场环境的安全性。3D机器视觉的出现不仅有效解决了传统2D时代的复杂物体识别和深度测量难题,还能实现更加复杂的人机交互功能,成为提升产业自动化和智能化水平的重要推手。
当前,3D机器视觉技术主要包括双目视觉法、结构光法和激光三角法等。今天,我们将为大家带来一种全新的3D视觉技术——光场成像法。成立于2019年的奕目(上海)科技有限公司(以下简称:“奕目科技”)已成为全球极少数全面掌握光场采集芯片光学设计、制造、封测、光场图像三维渲染和三维精密快速检测全部核心技术的光场3D成像科技先驱,光场3D测量精度和效率处于国际领先水平。今年9月16日,奕目科技也将在『第三十一届“微言大义”研讨会:3D视觉技术及应用』上发表主题演讲,为了提前了解3D光场相机技术及应用,麦姆斯咨询特意采访了奕目科技总经理、联合创始人李浩天。
奕目科技总经理、联合创始人李浩天
麦姆斯咨询:感谢您接受麦姆斯咨询的采访。奕目科技是一家非常年轻的公司,但已经取得了不俗的成绩。请您向大家介绍下公司的发展历程,谢谢!
李浩天:奕目科技成立于2019年7月,虽然非常年轻,但是我在上海交通大学求学期间就已经积极开展了前期的技术攻关和积累,并在交大资深科研团队的全力协助下,一步一个脚印将光场相机这种全新的三维成像技术应用于工业检测。2015年第一套科研级光场三维成像系统研发成功,次年光场成像技术在三维流动测试领域中实现了微米级测量精度,2018年采集芯片封装和测试设备自主研发成功,2019年全部核心部件实现国产化,2020年工业级显微光场相机研发成功,并获央视报道,2021年光场相机在MEMS硅芯片产线检测上实现大规模应用,这也是全球首例。
奕目科技诞生于“零号湾“全球创新创业集聚区,背靠上海交通大学,与新加坡南洋理工大学的深度合作,快速实现技术更新与产品迭代;同时“零号湾“也在”政策支持、融资服务、法律咨询“等多个方面给团队源源不断地输送”养分“。年轻的奕目科技已成为全球第二家、国内独家全面掌握工业级光场相机在光学设计、仿真、微纳加工、封装测试、三维精密快速检测和光场图像三维渲染等各个领域全部核心技术的高科技公司。
通过与上下游领先企业长光辰芯(Gpixel)和华兴源创(688001.SH)的深度合作,奕目科技的光场三维检测系统已经成功应用于多种工业检测领域:半导体键合金线三维检测、屏幕缺陷三维分层检测、偏振片模组缺陷三维分层检测、光栅片模组三维分层检测、新能源汽车电池模组三维缺陷检测。
奕目科技成长轨迹
麦姆斯咨询:谈及3D视觉技术,耳熟能详的技术应该是双目视觉法、结构光法和激光三角法(线激光)。而对于光场成像法,大家可能还不够了解。您能先为大家做一下科普吗?
李浩天:许多昆虫比如蜻蜓都具有一种我们称之为“复眼”的视觉器官。单颗复眼有上万个独立感光的小眼,这些小眼呈六边形密集排布,为昆虫提供了良好的视野和强大的三维感知能力。受到昆虫复眼的启发,科学家们提出了利用由许多微小透镜组成的阵列去模拟昆虫复眼的成像方式。这种独特的成像方式不仅可以记录物体的颜色信息,还能精确捕获光线的三维轨迹,通过单次拍摄,就能将空间中的多维光场信息完整地记录下来,因此被称作“光场相机”。进一步通过光机电耦合的光场三维渲染算法,光场相机能够以极快的速度还原所拍摄的三维场景,实现实时的三维重建和三维测量。
奕目科技推出的基于复眼仿生的光场相机
麦姆斯咨询:奕目科技的3D光场视觉技术主要面向工业检测应用,相比结构光、线激光等,贵司技术有何优势?
李浩天:机器视觉现有成熟的三维检测方案主要是结构光和线激光。
结构光检测系统由投影仪和普通工业相机组成,通过投射特定的编码图案,利用采集到的物体表面纹理来计算三维信息。线激光系统由激光发射器和普通工业相机组成,根据激光三角法来测量物体的三维尺寸。这两种技术已经非常成熟,测量精度和效率都较高。无论是结构光投影模块、激光发射器还是工业相机,都已经有多种成熟产品可供选择,加之其核心算法均已开源,降低了结构光和线激光检测系统的准入门槛,推进了这两种技术在工业检测领域的应用。
无论是结构光还是线激光,都需要主动投射特定光源,且结构光投影仪和相机或者激光发射器和相机均需严格按一定夹角布置,测量复杂物体时容易产生遮挡现象;同时主动投射的结构光源或线激光很难在透明介质上成像,难以检测透明介质的内部缺陷。相比之下,光场相机对透明和高反光材料的三维测量/检测具有独特优势,仅需环境光源,单相机单次拍摄,即可完成三维测量/检测,同时也不存在遮挡的问题。
光场相机与结构光相机、线激光相机的区别
麦姆斯咨询:奕目科技掌握了3D光场相机的哪些核心技术?其中,哪项核心技术的行业壁垒最高?另外,你们在知识产权方面做了哪些布局?
李浩天:光场相机涵盖了微纳光学设计、仿真、制造、检测、芯片级封装、测试、快速高精度计算成像等多种关键技术,每项单项核心技术都具有相当高的行业壁垒。而如何将光学设计、微纳制造、封测与光场算法有机融合为一个整体,实现工业产线对高速、高精度检测的苛刻需求,则是难度最高的挑战。奕目科技已经掌握了从光场相机设计、微纳制造、封装测试、光场三维精密快速检测算法到产线大规模应用的全链条核心技术,达成了毫秒级测量速度、亚微米级测量精度的稳定工业应用。
奕目科技高度重视核心技术和知识产权的保护,不断强化知识产权管理。公司内部所有技术文件均经过保密处理,有严格的审批解密管理流程。同时,公司及时对研发形成的硬件技术、核心算法和软件申请专利权和著作权。通过技术保密和知识产权申请等手段相结合,对公司核心技术进行保护。截止目前,奕目科技正在申请和已授权的PCT专利、发明专利和软件著作权达50余项。
麦姆斯咨询:算法也决定着3D光场相机的最终成像质量。奕目科技在这方面有哪些“独门秘籍”?
李浩天:奕目科技的光场算法根源于上海交大多年科研成果,同时不断吸收产线应用经验,通过多个工业检测项目的反复打磨和优化迭代,形成了适用于工业产线检测的高效、高精度、稳定可靠的三维光场算法。基于大量产线数据,融合深度学习,奕目科技的人工智能光场三维重建算法曾在全球权威的光场算法排行榜上排名第一,在准确性和计算效率等方面均为世界前列。不仅如此,奕目科技研发人员潜心下沉至产线前端,倾心聆听客户反馈,积极开发通用型光场工业检测平台,大幅提升了用户交互性能和产品广适性。
麦姆斯咨询:奕目科技的3D光场相机已经用于MEMS麦克风的引线键合金线缺陷检测,可以介绍一下该应用案例的情况吗?半导体产业对检测设备的精度要求相对较高,目前贵司的相机精度可达到多少?
李浩天:由于MEMS麦克风芯片体积小、结构紧凑、空间结构复杂,芯片上键合金线直径小、形状复杂、材料易反光,现有三维检测设备无法满足客户需求。光场相机由于其被动式成像,可以同时采集多个视角的图像,避免因结构复杂、特定角度反光造成的干扰。仅仅需要50ms~100ms即可获得3D信息,因此特别适合MEMS的精度高、速度快的检测需求。光场相机的另一个显著优势在于可以通过搭配不同的光学镜头来达到不同的精度。目前奕目科技工业级光场相机最高景深方向精度为2微米,重复精度0.5微米。
麦姆斯咨询:据我们了解,奕目科技已经切入了国际3C巨头产业链,用于无线蓝牙耳机、手机摄像头和手机屏幕的分层检测。可以谈谈目前的进展情况吗?
李浩天:我们的光场检测系统已应用于某国际3C头部企业TWS芯片产线上,解决了现有2D检测平台无法在线检测芯片三维缺陷的难题。我们的光场工业检测平台软件,可适配几十种芯片的多个检测项目,目前检测UPH(每小时产能)达到10000多颗,景深精度最高可达6微米,平面精度最高可达1微米。该系统也将很快应用于另一国际3C头部企业芯片产线。
针对显示模组缺陷的三维光场分层检测系统也已经在某头部企业产线上运行,该视觉方案可以准确定位显示屏模组的贴合脏污、贴合异物、气泡等多种缺陷的三维位置。同时,该系统也可以适用于偏振片模组检测,帮助客户定位缺陷,提高出货良率,追溯缺陷发生的环节,优化生产工艺,降低人力成本。
摄像头模组三维缺陷检测方案不仅可以检测完整模组,还能用于检测单层镜片。对镜片模组中的脏污、气泡、白点、线伤、模印等缺陷和单层镜片镀膜上的破损、气泡、脏污等缺陷进行识别并定位三维位置。
除此之外,奕目科技光场检测系统也在CIS(CMOS图像传感器)保护玻璃缺陷检测、手机CGS(连续粒状结晶硅)模组检测、新能源汽车电池三维缺陷检测等领域获得了良好的产线测试效果。
奕目科技3D光场相机半导体、显示模组缺陷检测示例
麦姆斯咨询:贵司的3D光场相机对标哪些国内外企业?你们的优势又体现在哪些方面?
李浩天:放眼全球,将光场技术应用于工业领域的企业还有德国Raytrix。相比于Raytrix光场相机而言,奕目科技光场相机采用完全不同的光场成像原理,本质上在景深方向的测量精度更高。除此以外,奕目科技掌握了光场相机全部“软、硬”核心技术,且核心部件全部实现国产化。所以在整体系统价格、交付周期、技术快速支持和定制化服务等方面具有显著优势。
奕目科技工业级显微光场成像系统
麦姆斯咨询:新冠病毒疫情加快了工业自动化步伐,促进了视觉传感器的应用,请您谈谈奕目科技的产品销售进展情况吧。
李浩天:奕目光场检测系统已经获得韩国、新加坡、德国、中国台湾及内地多个行业代表性客户的认可,并成功应用于多种工业检测领域,逐渐形成了多种典型的视觉解决方案(见下表)。同时将进一步拓展应用市场,通过直销和代理销售双管齐下的方式,提高销售收入,并力争成为国际3D视觉方案领跑者。
麦姆斯咨询:展望未来,3D光场相机还有哪些令人兴奋的应用方向?
李浩天:光场相机因其独特的光场特性,未来可以应用于很多方向。其中包括:
(1)与自动化检测平台结合,应用于常规工业领域的三维视觉检测项目,比如MEMS芯片、显示器件、摄像头模组、新能源电池模组等;
(2)搭配高倍显微物镜的光场相机可用于生物医疗领域,特别是在细胞活体三维检测方面具有独特的优势;
(3)光场相机还可以应用于虚拟现实领域,比如为光场真3D显示、AR、VR提供三维图像输入;
(4)作为安防、车载的三维感知模块。
麦姆斯咨询:请谈谈奕目科技未来三年的发展规划,谢谢!
李浩天:奕目科技未来三年发展主要聚焦在工业3D机器视觉领域。2021年度目标是实现光场技术在多个领域龙头企业的产线批量应用;2022年微纳加工中心成功建立并投产,在华东和华南建立多个销售和技术支持中心,并且实现光场技术在多种工业场景的规模化应用;2023年逐步拓展光场技术在生物医疗、无人驾驶、安防、车载、VR等领域的应用。
麦姆斯咨询:你们近期是否有融资计划?如果有,可以阐明资金需求及用途吗?
李浩天:公司近期将启动A轮融资,本轮融资会在数千万级别,资金主要用于关键技术的研发、市场铺设、产能提高,以及团队建设。截止目前正在与国内多家一线投资机构进行积极沟通,意向投资方均看好机器视觉行业未来广阔的市场红利。
麦姆斯咨询:非常欢迎奕目科技在2021年9月16~17日举办的『第三十一届“微言大义”研讨会:3D视觉技术及应用』上发表演讲,可以提前透露下你们想和观众分享的内容吗?
李浩天:光场相机作为一种全新的三维成像技术未被大众熟知。随着技术的成熟,产品的迭代升级,光场成像技术已经可以在诸多工业场景中解决一些难点痛点。本次演讲会聚焦于光场成像原理、奕目科技光场相机特点的介绍,以及成功应用场景的分享,尤其是芯片金线检测及屏幕缺陷分层检测这两个领域的应用,希望可以帮助广大工业机器视觉相关从业者及相关需求方拓宽视野,增加对光场的认知。