用深度学习+弱监督训练来绘制全球高精度道路图

即使访问卫星图像和绘图软件，今天创建精确的地图也是一项艰苦，耗时的手动过程。许多地区 – 特别是发展中国家 – 仍然基本上没有映射。为了弥补这一差距，Facebook AI研究人员和工程师开发了一种新方法，该方法使用深度学习和弱监督训练来预测商业上可用的高分辨率卫星图像的道路网络。由此产生的模型为最先进的精确度设定了新的标准，并且由于它能够适应道路网络的区域差异，因此可以有效地预测全球道路。

我们现在通过Map With AI（一组新的专业地图编辑服务和工具）分享我们模型的详细信息并将数据提供给全球绘图社区。Map With AI包含一个编辑器界面RapiD，它允许绘图专家根据需要轻松查看，验证和调整地图。

我们使用这个系统在OpenStreetMap（OSM）中映射泰国所有以前未映射的道路 – 价值超过300,000英里 – 这是一项基于社区的努力，旨在创建免费的，可编辑的世界地图。我们能够在18个月内完成这个项目 – 不到一半的时间，一组100名测绘专家需要手动完成这个项目。

准确的地图数据有助于我们使用Facebook Marketplace和Facebook Local等产品更好地为世界各地的人们提供服务。Map with AI也符合我们的核心目标：连接人员并确保每个人都在地图上展示。与Facebook AI的人口密度地图项目一样，这些地图也将作为灾害响应，城市规划，开发项目和许多其他用例的资源公开提供。例如，当2018年洪水袭击印度喀拉拉邦时，Map With AI加快了人道主义OpenStreetMap团队（HOT）对该地区的绘图，以协助救援工作。我们希望RapiD能够加速OSM和HOT志愿者的工作，以创建世界各地的免费地图。

要使用RapiD，用户选择道路将其带到地图上。从那里，可以在提交OSM之前根据需要进一步编辑。白线代表现有的OSM道路。洋红色线代表RapiD的预测。Maxar卫星图像用于此和下一个图像作为背景。

利用新技术实现更高效，准确的映射

我们在几个方面推动了我们的测绘研究。在2018年的CVPR，我们帮助组织了DeepGlobe卫星挑战赛，通过提供数据集和竞赛平台来主持和评估计算机视觉和机器学习解决方案，从而推进卫星图像分析的最新技术水平。我们还在开发适合遥感问题空间的新学习技术和架构 ; 调查弱监督学习技术，以在全球范围内应用我们的路线图工作; 并与我们的绘图团队合作，大规模测试这些方法并构建正确的工具。

道路分割

在从卫星图像中提取道路时，我们利用最近在使用完全卷积神经网络进行语义分割以及大规模弱监督学习方面取得的进展。道路检测是语义分割的直接应用，其中道路是前景，而图像的其余部分是背景。如下图所示，此过程的输出是栅格化地图，显示模型可以自信地预测输入卫星图像的每个像素是否为道路。对于我们的道路分段，我们使用了赢得DeepGlobe卫星道路提取挑战的建筑。然后，矢量化和后处理技术可以将这些输出转换为与地理空间数据库（如OSM）兼容的道路矢量。

左：每像素预测的分割模型的结果; 明亮的品红色意味着像素属于道路的概率更高。右：矢量化道路数据与现有OSM道路（白色）的混淆。（Maxar提供的卫星图像。）

具有弱监督训练的全球规模

作为我们泰国道路测绘项目的一部分，我们让人类专家审查并纠正了人工智能系统确定的道路网络。然后，我们使用这些手动校正的地图作为模型的训练数据。泰国项目绘制了该国的整个道路网络，因此我们可以确信数据的准确性和完整性。我们发现，对该数据集的培训为泰国提供了高度准确的验证结果，但其他地区的准确率却急剧下降。由于该项目旨在能够绘制全球道路，我们研究了如何使用其他地区的其他OSM数据来训练新模型。

许多其他国家的地图仍然存在很大差距; 因此，我们探索了获得高质量，地理多样化的培训数据的新方法。从我们之前关于OSM数据的弱监督图像分类和训练建立检测模型的工作中汲取灵感，我们尝试将这些弱监督的训练思想从分类转换为语义分割。该实验需要识别具有足够，准确数据覆盖范围的区域，然后将OSM数据库的道路向量转换为光栅化语义分段标签。对于这两个挑战，我们采取了一种直接的方法，首先生成嘈杂，不完美的训练数据。

我们将训练数据收集为一组2,048×2,048像素的瓷砖，每像素的分辨率约为24英寸。我们丢弃了已经映射少于25条道路的瓷砖，因为我们发现它们通常仅包括主要道路（没有较小道路的例子，正确标记会更具挑战性）。对于每个剩余的图块，我们对道路矢量进行栅格化，并使用生成的蒙版作为我们的训练标签。为了以与DeepGlobe数据集相同的分辨率工作，我们将每个图像随机裁剪为1,024×1,024像素，从而生成大约180万个图块，覆盖超过700,000平方英里的地形。结果是DeepGlobe数据集覆盖的大约630平方英里的1,000倍。要从这些道路矢量创建分割蒙版，我们只需将每个道路矢量光栅化为五个像素。语义分割标签倾向于像素完美，但我们使用此启发式创建的标签则不然。道路的宽度和轮廓在这些光栅化矢量无法完美捕捉的方式上有所不同。此外，全球不同地区的道路是从不同的卫星图像源映射的，因此并不总是与我们用于训练数据的图像完全对齐。

可视化OSM道路分割模型的训练数据的地理分布。一些区域丢失，因为在实验时卫星图像不可用。

仅使用我们的数据收集过程产生的嘈杂标签，我们能够产生与DeepGlobe挑战中的许多参赛者竞争的结果。在对DeepGlobe挑战数据集中的训练数据进行微调后，我们的模型获得了最先进的结果。

比这些微调结果更值得注意的是，该模型在全球范围内表现良好，即使仅在OSM数据上进行训练。大多数可用于训练道路分割模型的数据集都偏向于特定区域或发展水平。例如，DeepGlobe道路数据集仅包含来自印度，印度尼西亚和泰国的数据，以及SpaceNet Road Extraction Challenge 数据集仅关注主要城市。我们创建的数据集横跨六大洲和各个级别的开发，提供比其他可用替代方案更多的数据。为了评估更大，更多样化的数据集如何影响我们模型的普遍性，我们评估了我们的OSM训练模型以及DeepGlobe模型（在DeepGlobe数据上训练）。我们在其他几个数据集（拉斯维加斯，巴黎，上海等 – 详见我们的论文）上评估了这两个模型，这些数据集不在DeepGlobe数据集的地理分布中。在这些测试集中，平均交叉点（DeepGlobe模型的IoU评分为0.218，OSM训练模型的平均IoU评分为0.355。这些得分为我们提供了62％的相对改善和13.7％的绝对改善。

从乌干达坎帕拉的一个相对较好的地区开采道路。从左到右：Maxar卫星图像，OSM（手动映射），THA / IND / IDN训练模型，全球OSM训练模型。在DeepGlobe上训练的模型在房屋中间绘制了许多不存在的道路，而全球训练的模型表现良好。

基于人工智能的工具，可有效创建新地图

一旦模型识别出潜在的道路，我们需要验证道路并将其提交给OSM。将这些数据带给社区是我们流程的重要组成部分; 我们模型的结果尽管很强大但并不完美。地方或地区差异会影响道路是否正确分类。一些结果错误地追踪了其他卫星图像特征，例如干河床，狭窄的海滩和运河。此外，该模型可能找不到区域内的所有道路，或者可能忽略对专业人体映射器而言显而易见的连接点和潜在道路。因此，我们的下一步是将模型的结果加入到有能力的映射器中，这些映射器已经接受过如何验证模型结果的专业培训。为此，我们利用映射社区已经熟悉的工具（iD，JavaOpenStreetMap和Tasking Manager）。

我们的工作重点是构建RapiD，这是广泛使用的基于Web的iD地图编辑器的开源扩展。此外，我们构建了一个系统，该模型将模型的结果与OSM中已有的数据相结合。这个过程称为混淆，它们都建议如何将新道路与现有数据相结合，并防止用建议道路覆盖现有道路数据。我们希望RapiD能够让绘图社区的人们为他们自己的用例改进和利用这些工具。

RapiD编辑器允许人类审阅者可视化混合道路，突出显示新更改，并使用新命令和快捷方式执行最常见的数据清理任务，例如调整道路的分类以适应周围环境。因为我们扩展了现有的编辑工具iD，所以mappers能够使用熟悉的工具来处理新数据。为了确保向OSM提交高质量的数据，我们采用了完整性检查来捕捉模型结果的潜在问题。

绘图界领导人的早期反馈令人鼓舞：

“该工具在建议机器生成的功能和手动映射之间取得了很好的平衡。它为地图制作者提供了在地图中最终结果的最终决定权，但有助于使两者都有用并引起对欠映射地点的注意。它可以从一个更加互动的演练中受益，让偶然的地图制作者开始。对iD的调整和增加的快捷键使其足够强大，足以让那些想要随意使用它的地图制作者，“OSM的长期撰稿人Martijn van Exel说道。“这肯定会成为OSM未来的关键部分。我们永远不会映射世界，并在没有机器帮助的情况下保持映射。诀窍是找到最佳点。OSM是一个人的项目，地图反映了地图制作者的兴趣，技能，偏见等。核心原则永远不会丢失，

“在我看来，RapiD最独特的优势在于它可以用于世界上最复杂的地理区域，其中最迫切需要自动化。大多数现代算法，训练集和技术被发明用于具有高度发达的基础设施的区域。在发展中国家 – 例如，非洲，东南亚，拉丁美洲 – 道路没有明确界定，维护或发展，即使是受过最好训练的人眼也很难识别和正确分类特征，“Dmitry Kuzhanov说，乘坐共享行业的地理空间经理。

“RapiD是向前迈出的重要一步，因为它将人工智能所带来的规模与人类天生具有的一般智能和背景理解相结合。我们人类仍然参与其中，但结果却变得更加有效。看看RapiD是否会成为OpenStreetMap自行车的通勤方式将会很有趣，“Mapillary的战略合作伙伴经理Edoardo Neerhut说。

总而言之，良好的工具赋予了地图绘制器，减少了基于卫星数据绘制道路的繁琐和耗时的部分，提高了道路形状的准确性，并提供了识别建议道路的选项 – 即使地图选择器不选择使用这些建议。提供不限制专业地图制作者的能力和判断力的工具非常重要。我们将根据这些映射器的反馈不断改进RapiD，以使过程更加顺畅。我们相信最终的工具可以提高卫星图像的绘图效用。