旧的模子很难处理2D图像的深度问题,但新的神经汇注不错爽气处理这些问题。
最近,一组计较机科学家行使东说念主工智能对麇集国教科文组织天下遗产中丢失的浮雕板进行了3D重建。
辩论东说念主员缔造了一种神经汇注,不错拍摄三维物体的单张2D像片并产生三维数字重建。 实验上,他们缔造了一款适用于21世纪的立体镜。 该团队上个月在第32届ASM多媒体会议上展示了其看法考证。
为了辩论的主张,科学家们使用了被麇集国教科文组织列为天下遗产的印度尼西亚婆罗宝塔神庙的浮雕图像。这座寺庙有2672幅浮雕,是天下上最大的释教浮雕储藏地。在19世纪后期,寺庙的底部被从头安设,将156个浮雕荫藏在石墙后头,直到今天它们仍然被下葬。但在他们被下葬之前,每个面板王人被拍摄了灰度像片。最近,辩论小组的神经汇注行使一张134年前的黑白老像片,告捷地重建了其中一个现已被荫藏的浮雕。
之前曾有过尝试,但这些早期的重建无法复制浮雕的细节。由于深度值的压缩,这些细节丢失了;换句话说,这些三维浮雕具有离不雅者最近和离不雅者最远的雕琢的细节,而之前的重建尝试使这些不同深度的细节变得平坦。该团队将丢失的特征称为“软旯旮”,并笔据计较出的三维空间曲率变化画图了这些旯旮的舆图。
在这篇新论文中,辩论小组合计,现存的旯旮图镌汰了模子的准确性,它不可正确地传达3D曲率的变化,而况它被纳入汇注的样式收敛了它对意料物理对象深度的影响。
日本立命馆大学(Ritsumeikan University)辩论员、该辩论的合著者田中智(Satoshi Tanaka)在一份大学新闻稿中说:“尽管咱们的重建准确率达到了95%,但东说念主脸和荫庇等更抽象的细节仍然缺失。这是由于二维浮雕图像中深度值的高度压缩,使得很难索求沿旯旮的深度变化。咱们的新门径通过增强深度意料来处置这个问题,卓越是在软旯旮,使用一种新的旯旮检测门径。”
上头的图像代表了该团队对样本浮雕的软旯旮舆图(左)和语义舆图(右)的最好实验成果(下一瞥),与大地着实数据(上一瞥)进行了比较。旯旮图即是这么 —— 它跟踪地形弧线赋予深度的点,这让早期的模子感到困惑。
语义图 —— 空泛让东说念主思起Ellsworth Kelly的《蓝绿红》 —— 展示了模子的学问库何如将研究看法研究起来。在这张图片中,该模子分别了出路特征(蓝色)、东说念主物(红色)和配景。辩论东说念主员还将他们的模子与其他来源进的模子比拟,与大地着实图像的关系进行了比较。
东说念主工智能受到了挫折,但在科学边界,它被阐述相当擅所长置图像识别和文化遗产保护方面的问题。本年9月,另一个团队使用神经汇注识别拉斐尔画作中昔日未见过的细节,另一个团队使用卷积神经汇注将已知的纳斯卡线(秘鲁驰名的地舆记号)的数目加多了近一倍。
该模子简略进行多模态意会,这意味着它简略秉承多个数据通说念来意会其方针对象。在这种情况下,用于测量浮雕弧线的软旯旮检测器不仅不错看到亮度的幽微变化以感知深度,还不错看到雕琢自己的弧线。行使这两种信息渠说念,新模子比昔日的尝试更明晰、更详备地重建了浮雕。
田中说:“咱们的本领在保护和共享文化遗产方面具有浩瀚的后劲。”“它不仅为考古学家提供了新的契机,而况通过VR和杜撰天下本领为千里浸式杜撰体验提供了新的契机,为子孙后代保护了寰球遗产。”
文化遗产需要保护。但有些文化遗产尤其受到要挟,天然这些东说念主工智能生成的重建不可取代信得过的麦考伊,但它们有其用途。像最近这篇论文中状貌的神经汇注相同,唯一在增强现实或杜撰现实环境中,就不错回生只存在于图像中的失意遗产 —— 举例,2001年被塔利班炸毁的巴米扬大佛(Bamiyan Buddhas)。
这些模子还不错用来保护面对遗弃的文化遗产,比如澳大利亚塔纳米沙漠(Tanami Desert)上有几百年历史的土著boab树上的雕琢。
文化遗产通过咱们之前的社区和文化来界说咱们是谁。若是这些东说念主工智能模子能匡助艺术史学家和文物保护学家保存一段历史,那么它们就作念得很好。天然,东说念主工智能模子也需要多半的能量,这可能会以波折的样式导致文化遗产的流失。然而,即使东说念主工智能的运行样式仍然存在问题,将这项本领用于公益业绩亦然站在历史的正确一边 —— 尤其是在东说念主工成品方面。