热门标签-网站地图-注册-登陆-手机版-投稿 3D打印网,中国3D打印行业门户网!
当前位置:主页 > 新闻频道 > 深度解读 > 正文

前沿研究:基于神经网络的机器学习方法在3D打印中的应用(3)

时间:2021-04-04 22:06 来源:3D科学谷 作者:中国3D打印网 阅读:

block 小数据集

由于NN方法是数据驱动的,因此其性能与可访问数据量直接相关。一些领域已经建立了自己的大型数据集用于训练,如用于图像识别的ImageNet,用于光学字符识别的MNIST,用于自然语言处理的SQuAD和用于视频分类的YouTube-8M。大型数据集的存在使得NN在这些领域中展现出了巨大的力量。相比之下,AM没有庞大的数据集,因为收集训练数据总是很昂贵的。此外,出于经济方面的考虑限制了相关方创建自己的开源数据集。由于这种困境,建立AM工艺的小数据集至关重要。事实上,某些称为生成模型的方法可以实现数据增强,以便人为地扩大数据集。例如,自编码器是一种代表性技术,能够随机生成看起来与训练数据非常相似的新数据。其使用编码器将输入转换为内部表示,然后使用解码器生成与基于此表示的输入类似的新输出。一种基于基本的自编码器的著名扩展称为变分自编码器(VAE)。它将输入转换为具有平均值μ 和标准偏差σ 的高斯分布;当解码器从该概率分布中采样点时,生成新的输入数据。其他生成模型,如生成对抗网络(GAN)和对抗性自编码器(AAE、AE和GAN的组合),也可以提供数据增强的方法。

block 缺乏标记数据的经验

如前所述,大多数NN用例都是监督学习,需要输出作为学习目标。但是,有时标记数据非常困难。例如,如何将图3中的不同物体分别精确地标记为熔池、羽流或飞溅?图3的作者认为,许多飞溅在形状、尺寸和灰度值方面具有与熔池相似的特征。换句话说,这些判断很大程度上依赖于分析人员对焊接过程的深入了解。这种依赖性将极大地阻碍NN在AM领域的发展。这意味着NN在AM领域的大规模应用需要计算机科学家和材料科学家之间进行深入合作。

block 缺乏选择合适特征的知识

许多工艺参数可能严重影响AM部件的属性,而其他参数可能影响较小。同时,对于有限的数据集,过多的输入特征极易导致模型过拟合。因此,确保NN算法在一组良好的特征上运行至关重要。对输入数据进行“特征工程”的预处理可以为研究带来好处,它可以分为两个方面:

① 特征选择——旨在从现有特征中选择最有用的特征作为输入。例如,人们可以选择“道间距”“激光功率”和“粉末层厚”作为影响部件性质的最重要因素。在这种情况下,选择原则依赖于研究人员对AM的经验和了解,即对AM过程的机制进行深入研究,而不仅仅是反复地进行实验。另一种有用的方法是使用统计工具进行定量分析。以下是统计学中一些广泛使用的参数。皮尔森相关性系数是衡量两个特征之间线性关系的良好参数,当它接近1/–1时,表明这两个输入之间存在强烈的正/负相关关系。肯德尔相关性系数是衡量两个特征之间的非线性关系的参数。散布矩阵则是一种用于绘制每个数学属性与其他所有数学属性关系的数学工具。通过计算这些参数,可以得知哪些属性与目标属性更接近。

② 特征组合——旨在对输入特征进行降维,从而集中于新生成的特征。一旦知道转换规则,手动生成特征便成为可能。例如,研究已经发现,能量密度对AM加工期间的凝固和冶金以及所制造部件的微观结构和机械性能具有明显的影响。能量密度在SLM中表示如下:

Method_10
式中,P 是激光功率;v 是扫描速度;h 是舱口间距;d 是层厚度。如上式所示,这4个特征可以转换为新的但影响更显著的特征E。此外,仍然可以使用数学工具来提供帮助,例如应用主成分分析(PCA)根据特征的数值而不是其性质来减少维度。

block 过拟合和欠拟合的问题

良好的泛化能力是NN算法的关键目标,用来衡量算法是否能够准确预测先前未知数据。然而,NN算法表现差的原因是由于过拟合或欠拟合。过拟合意味着NN算法试图拟合训练集中的每个数据点;因此,该模型非常容易受到噪声或异常值的影响。相反,欠拟合意味着NN算法无法提取训练集中数据点之间的合理关系。避免过拟合和欠拟合的技术包括添加正则项和随机丢弃神经元等。

对未来的前瞻

block 数据

1. 加强API的数据采集互操作性

随着AM的快速发展,每天都会产生大量数据。但是,这些数据在不同的研究团体中交流传播并不容易,因为这些“孤岛”中的数据通常具有不一致的应用程序编程接口(API)。因此,统一的数据采集API将有利于该领域的每个利益相关者。这种API的合格范例应该包括明确定义的材料的热力学属性和工艺参数、用于微观结构表征的统一图像类型,以及用于鉴定的相同测试标准。通过这种方式,数据的流动障碍将会减少甚至消除,并且将在社区中实现更紧密的电子协作。

2. 数据预处理

数据预处理是数据驱动的NN算法的必要先决条件,因为它会对“废”数据进行清洗并将正确的数据提供给模型。但是,此步骤通常包括许多需要完成的繁琐任务。例如,目前有一批扫描电子显微镜(SEM)图像,其中包含晶粒、裂纹和孔隙度信息,而相应的NN模型仅需要裂纹特征作为输入。那么问题就归结为如何准确地从晶粒图像中提取裂纹分布。对于没有扎实的图像处理和分析经验的人来说,识别这些结构特征的数字表达可能是一项挑战。为数据(尤其是图像数据)的预处理建立标准和进行最佳实践是一项必要的任务,其之后可以将成功的经验迁移到更广泛的领域。

3. 数据库建设

在材料的许多领域,研究人员开发了知名的数据库,用于以数字化方式组织/存储/访问数据,如MatWeb、OQMD和Citrine。鉴于AM的高度复杂性和多样性,有必要构建一个统一的数据库平台来托管不同研究组和不同机器每天生成的大量数据。目前可访问的项目是AM材料数据库(AMMD),它由美国国家标准与技术研究院(NIST)开发。该数据管理系统采用非关系型的数据库(NoSQL)引擎构建,其灵活的数据结构非常适合AM情形。AMMD由Django框架进行Web可视化,因此非常易于访问。对于应用程序开发,AMMD还为第三方调用提供REST API接口。

block 传感

1. 硬件

如3.2节所示,研究人员开发了几种传感器系统,以便提供有关AM的实时信息。传感器用于精确地检测光学、热学、声学和超声波信号,并提供有价值的见解来加深对AM的理解。然而,搭建可靠的传感器系统仍然存在巨大的困难。例如,安装在打印机内部的传感器必须能够在恶劣的环境中正常工作很长时间。在EBM技术中,由真空环境中的高能电子束产生的金属蒸气可能会破坏相机镜头。此外,传感器系统必须足够灵敏以捕获熔池的中心位置,因为激光的扫描速度通常非常快。从这个角度来看,AM的快速发展非常需要优质的传感器系统作为支撑。

2. 软件

传感器硬件需要由功能强大的操作软件所控制。控制软件的基本模式包括监视、记录、分析和存储数据。在一般情况下,例如在SLM过程期间,一旦硬件将捕获的熔池图像传递给软件,它就可以计算温度曲线并提取热量和尺寸度量以进行下一步的分析。其他令人关注的功能也可以添加到传感软件中,例如为软件配备检测孔洞、未熔合或孔隙等的算法(特别是机器学习算法)。

block 控制/优化

AM逐层构建零件,每层的质量对最终产品的性能会产生很大的影响。因此,有必要确保每一层的质量。多种类型的传感器,例如捕获光子、电、声和热信号的传感器,可以提供AM过程中的原位测量。通过应用ML可以实现闭环控制,以便同步分析该信息,然后将其输出馈送到机器的控制器中。其潜在用途是训练CNN以基于由高速相机捕获的层图片来判断层的质量是否合适。在这种情况下,NN算法必须快速响应输入图像。所幸的是,一些模型压缩技术已经可用,如参数剪枝和共享、低秩分解和知识蒸馏。

block 全链条连接

第3.2和3.3节分别展示了NN在构建结构-性能和工艺-性能之间关系方面的强大功能。此外,研究人员还构建了其他模型来建立工艺-结构-性能-使役性能(PSPP)联系。例如,Azimi等利用全连接卷积神经网络(FCNN)对低碳钢中的马氏体/贝氏体/珠光体相进行分类,如图4所示。其分类精度可达93.94%,大大超过了目前其精度仅为48.89%的最先进方法。虽然这种情况不在AM的范围内,但其概念很容易迁移到AM;可以预测的是,使用神经网络建立PSPP联系方面会出现爆发性的增长,因为与其他方法和模型相比,神经网络在复杂模型识别中具有内在优势。
Method_11图4 使用CNN的马氏体/贝氏体/珠光体分类方法的工作流程。经Springer Nature许可转载自参考文献,©2018

block 建模

如前所述,基于物理的模型是重现AM过程的传统计算方法。然而,就时间、硬件和软件而言,它需要大量的计算成本。如3.1节所示,可以从先前累积的数值数据集中学习并提取输入和模拟输出之间的嵌入式链接。换句话说,物理模拟的数值可以是ML算法的数据源,并且可以起到与实验数据相同的作用。Popova等开发了一个数据科学工作流程,将ML与物理模拟结合起来,然后将该工作流程应用于使用Potts动力学蒙特卡罗(kMC)方法获得的一组AM微观结构(原始数据存放于哈佛大学Dataverse数据库中)。Karpatne等提出理论指导数据科学(TGDS)的概念作为整合基于物理的模型和数据驱动模型的新范例。他们确定了5大类将科学知识与不同学科的数据科学相结合的方法。在不久的将来,这两种模型的结合肯定会解决当前缺乏实验性AM数据及NN模型不可解释等问题。

结论

最近在制造业和信息技术领域出现了两个爆发性发展的技术:AM和NN算法。AM具有数字CAD模型集成以及构建具有复杂形态的零件的能力等优点,而NN则擅长于避免构建和解决复杂的多尺度和多物理数学模型。AM和NN的结合已经证明了在工业中实现“敏捷制造”概念的巨大潜力。本文全面概述了将NN算法应用于从设计到后处理的完整AM链条的当前进展。这项工作的范围涵盖了各种应用场景中的NN的许多变体,包括:用于链接AM工艺、性能和使役性能的传统MLP;用于AM熔池识别的CNN;用于再现有限元模拟结果的LSTM和用于数据增强的VAE。然而,正如人们所说,“每枚硬币都有两面”:由于神经网络强烈依赖数据采集,所以很难控制AM部件的质量。因此,这个跨学科领域仍然存在一些挑战。我们为这些挑战提出了相应的潜在解决方案,并概述了我们对该领域未来趋势的看法。

改编原文:

Xinbo Qi, Guofeng Chen, Yong Li, Xuan Cheng, Changpeng Li.Applying Neural-Network-Based Machine Learning to Additive Manufacturing: Current Applications, Challenges, and Future Perspectives[J].Engineering,2019,5(4):721-729.

(责任编辑:admin)

weixin
评论
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价: