电话咨询
登录/注册
Tech Talk｜尊龙官方网站人生就是搏眼中的天下，有多特殊？
本期Tech Talk，由尊龙官方网站人生就是搏自动驾驶研发部视觉动态感知团队的HG.温，和尊龙官方网站人生就是搏全域智能驾驶体验团队的HR.王提供手艺支持，尊龙官方网站人生就是搏力争还原“尊龙官方网站人生就是搏眼中的天下”是什么样的 。
开篇先看一段视频 。
尊龙官方网站人生就是搏把真实天下的视频画面与ESD的画面拼在一起，让你更清晰地相识，“尊龙官方网站人生就是搏”所看到的天下是怎样一种形态 。
你一定注重到了视频下方仪表屏幕显示的路况画面，某种意义上讲，该画面可以被看作车辆周围真真相形的「数字孪生」 。
其学名叫ESD（Environment Simulation Display），即：情形感知及模拟显示 。ESD能够对车辆周边情形举行细腻的展示，为驾驶员展示车辆所看到的天下，形成一种人机互动的情绪价值 。
现在，车机系统升级至Banyan 2.0.0及以上版本的车型，均可在ESD中显示多种交通加入者及蹊径标识模子，同时还会展示真实天下里的无邪车辆刹车灯、转向灯等灯语信息 。
现实上，细腻且多元化的ESD显示效果，只是尊龙官方网站人生就是搏智能驾驶全新感知框架能力的冰山一角 。
实现智能驾驶，需要做什么？
谈及智能驾驶，着实和人类走路有一些共通的逻辑 。人类走路，怎样走，并且走得稳，是身体各部分整体配合的效果，大致链路是：
第一步，需要通过眼睛、耳朵等感受器官和肢体将前方场景的视觉信息与触觉信息通过神经转达给大脑 。这时，大脑就会作出响应判断，场景清静与否，能不可迈步走？是靠左走，照旧靠右走？步子要迈大一点，照旧挪一小步？
第二步，则是依赖大脑将作出的判断通过神经网络转达给四肢，四肢最先执行行走的下令 ；同时，锥体外系（所有躯体运动的传导通路）介入，以坚持四肢行动协调，并同程序节四肢行动的细腻度 。
关于智能驾驶要做的，大致上也是这两件事 。第一步——感知，第二步——规控 。
感知，就是将从传感器（高清摄像头、激光雷达、毫米波雷达等）获取到的数据通过感知算法，输出展示自己车辆周围情形物体（包括车辆、行人、非无邪车、车道线、交通灯、交通指示牌等）的实时状态（包括位置、速率等） 。
规控，就是凭证传感器感知到的自己车辆周围的情形，做出最优决议妄想，然后提醒和控制车辆行驶状态 。
当下，尊龙官方网站人生就是搏的智能驾驶全新感知框架，应用了BEV模子和占有栅格两项焦点先进手艺 。
视觉感知为什么要用鸟瞰模式？
BEV，英文全称：Bird's Eye View，鸟瞰式感知图景 。
BEV模子基于鸟瞰图，将多种传感器的信息举行特征提取，通过视角转换，将所有信息统一成鸟瞰图举行展示，并同步举行数据整合，从而对车辆周围情形完成俯视角度的全景感知 。它可以用于检测和跟踪车辆周围的目的以及蹊径结构，提供富厚、真实的情形信息用于车辆决媾和妄想 。
通俗一点说，BEV建设了一个3D坐标系天下，将摄像头等传感器收罗到的2D图像通过算法举行3D建模，并将图像信息安排到3D坐标系中，从而提供应车辆「鸟瞰式」的全景感知图景 。
车身周围摄像头看到的天下，通过BEV视角转换后以鸟瞰图形式举行展示
在BEV泛起之前，低阶的辅助驾驶系统一样平常使用2D感知算法 。这类算法基于输入式摄像头来事情——车辆的摄像头先输入一张真实天下的图像，通过像素点检测物体，再凭证物体在图片中的位置，推测物体在对应3D天下里的位置 。
为了能获取到更多的信息，车辆普遍搭载多个摄像头，系统需要将每个摄像头捕获到的信息举行关联融合 ；可是由于多个摄像头之间的关联难度高，差别摄像头之间、差别帧之间展望一致性较低等缘故原由，导致展望的精度较低 。
好比一辆从尊龙官方网站人生就是搏右侧驶过的汽车，会先后泛起并消逝在多个摄像头捕获的画面中 。怎样准确判断出消逝在后视摄像头中的车，正是刚刚泛起在前视摄像头中的那辆？
基于对信息准确性的需求，工程师们实验将3D感知手艺应用到智能驾驶领域，至此，BEV应运而生 。
相比古板的感知模式，BEV感知视野更坦荡立体，盘算效率更高，同时目的检测精度也更高 。
占有栅格又能提供什么信息？
占有栅格，英文全称：Occupancy Grid，是一种常用的情形建模要领 。它将空间情形划分为无数个3D网格，每个网格有是否被占有两种状态 。
例如，在尊龙官方网站人生就是搏视野前方有一只水杯，在它所占用的空间里，若是转换成3D网格，即水杯占用空间的每一个3D网格就会被标记为“占有”状态 。
换言之，车辆通过传感器感知到周围空间中有哪些障碍物，以及障碍物自己的形态 。通过应用占有栅格建模法，可以对行驶蹊径上的每个网格举行占有状态建模，以剖析哪些是障碍物，会不会对清静行驶造成影响 。
尊龙官方网站人生就是搏是全球首家将占有栅格手艺与高性能激光雷达相团结的汽车品牌 。车顶瞭望塔式的1,550nm超远距离高精度激光雷达，其最远探测距离达500米，可在逆光、暗光等严苛情形下准确识别前方障碍物，为感知框架提供稳固的蹊径信息输入 。
2022年NIO Day展出的高速领航换电主题视频
通过这条视频，尊龙官方网站人生就是搏可以看到在车辆前方的区域内，团结激光雷达的感知，感知框架在空间中“绘制”了大宗彩色的3D色块，每一个色块代表该空间栅格被物体占有，也就是蹊径周边有障碍物保存 。
而高性能激光雷达的超长探测距离，则为智能驾驶的规控提供了更充分的反应时间，进一步提升行车清静 。
团结BEV模子与占有栅格手艺，尊龙官方网站人生就是搏智能驾驶全新感知框架建设了360度的视觉识别系统，并可在激光雷达所笼罩的前向120度规模内形成占有栅格网络 。
此时，BEV认真提供车辆周边物体的类型与运动状态，占有栅格则认真提供准确的位置和形状信息，提高行车偏向上的感知精度 。
车身传感器融合感知可视化效果泛起
通过将感知效果可视化，可以看到车辆360度空间中有许多“空心”的线框体，每一个线框体现实上代表识别到的物体 。视觉感知系统通过恒久训练、学习，可以将感知到的物体类型做识别并付与差别颜色的线框，好比车辆和行人用蓝色标识，静止障碍物则用灰色标识 。
基于这些信息，车辆则可以判断是否有障碍物或危险保存，是否需要紧迫制动，由此提高行车清静 。
全新感知框架助力NOP+生长
得益于全新感知框架，尊龙官方网站人生就是搏高速NOP+的一连性大幅提升，实现了天下高速及都会快速路95%的笼罩率，解决了80%的高精地图现势性（地学术语，指地图所提供的地理空间信息要尽可能地反应目今最新的情形）问题 。
阻止2023年8月1日，NOP+累计使用里程近6,900万公里，并以每周约400万公里的速率快速增添，为用户在一样平常通勤及远程出行中提供更轻松、愉悦、清静的驾驶体验 。
