共享、上云加AI ——色谱数据处理技术2022的趋势和进展

来自色谱相关知名厂商的专家为您展示一幅【色谱数据处理技术关键趋势和发展】的“快照”，讨论问题如下: 

1、目前色谱数据管理面临的最大问题是什么？ 

2、对于色谱而言，数据处理解决方案的未来会是什么样子？ 

3、从实用的角度来看，“大数据”最近的哪一项发展对色谱最重要？ 

4、您认为在色谱工作者在采用新的数据解决方案的道路上有什么障碍？ 

5、 在2021/2022年，数据处理技术方面最大的成就或新闻是什么？

问题1目前色谱数据管理面临的最大问题是什么？

赛默飞专家

目前的主要挑战之一是要运行的样本、要进行分析和审查的数据的数量不断增加，但同时还要保持数据的高质量并检测任何潜在的错误。其主要驱动因素是分析生物治疗药物所需的分离和检测技术日益复杂。其结果是色谱越来越需要与质谱（MS）联用。

此外，在一个中央装置上将所有这些信息整合成易于查看和共享的格式是一个巨大的挑战。这对于需要进行通报的最终审核和认可的信息尤其重要。一个典型的例子是当校正标样的称重结果来自一架天平时，该天平应与色谱数据系统（CDS）中的校正数据相连接，以确认校正适当和对未知化合物的最终定量是准确的。

安捷伦专家

色谱面临的最大挑战之一是，由于缺乏统一的数据格式，来自不同供应商的数据无法合并在一起并进行集中分析。色谱工作者一次只能查看一个系统的数据，并应对特定的问题。这使得跨多个数据系统访问和进行二次分析变得更加困难。

为了应对这一挑战，一些制药公司发起成立了Allotrope基金会，该基金会提出倡议——统一数据格式。此外，一些初创企业正在开发将数据转换为通用格式的工具。然而，这两项举措都需要一些时间和合作来克服上述的挑战。

ACD/Labs专家

色谱工作者使用来自不同供应商的各种不同的仪器，每种仪器都有自己专有的数据格式。一个大的问题是将来自不同电子系统的数据汇集起来并进行管理。像在原始数据处理软件中一样，可以对所有不同的数据进行规范化，同时保留查询的能力，这对色谱工作者来说是非常有好处的。由于色谱数据无处不在，在一个可访问的中央处理装置上进行有效的管理是必不可少的。

岛津专家

应付海量数据需要大量时间进行数据处理和解读。此外，受限于当地的条件，安全的数据存储和归档可能会很耗时，并且这些过程的管理也变得越来越复杂。

虽然有基于网络且支持多仪器的色谱数据系统（CDSs），但是所有的供应商都首先支持和维护他们专有的数据格式——光电二极管阵列探测器（PDA）和质谱仪器的数据文件格式是封闭的。即使在为其他CDS系统提供驱动程序时，仍然会有一些要求/愿望得不到满足。在硬件方面，混合配置可能包含不同的操作工作流，并且参数不容易在供应商之间传输。直接比较不同仪器之间的数据是很困难的。

问题2对于色谱而言，数据处理解决方案的未来会是什么样子？

赛默飞专家

我看到了三个主要趋势：首先，通过更“符合目标”的应用程序从根本上优化和简化用户体验；其次，不同来源的数据以统一的格式汇集在一个中央存储库中，通常称为数据湖。这将减少数据审查/分析的时间，因为它消除了任何手动数据传输或手动合并电子表格或PDF文件。第三，通过使用机器学习（用于例行审查）和算法辅助的数据挖掘来识别模式、趋势、异常值或偏差，使常规任务越来越自动化。

此外，数据将继续随时随地可用，因此将不再需要在实验室或仪器上分析您的数据，也不需要在您的设备上安装和维护软件应用程序。一切都可以在网上找到。

安捷伦专家

数据处理的未来将远远超出获取和分析由单一色谱系统产生的数据。随着新的工具和解决方案的开发，以及人们期望研究人员从他们的样品中提取更多的信息，色谱工作者将需要同时访问和分析来自多个仪器和数据系统的数据。

目前，色谱工作者有多种工具来帮助他们专注于多个领域，但未来的工具将允许他们在一个空间内审查整个工作流的信息。这有可能让研究人员能够回答更多的问题。随着合规要求和法规变得更加严格，这也将是有价值的。

新工具还将使研究团队深入了解仪器的历史性能数据，从而提高操作效率，甚至进行预测性维护。通过使用这些类型的工具结合人工智能（AI）和机器学习（ML），数据处理只会继续变得更精简和更先进。这些是实现未来实验室和工业4.0所需的下一个步骤。

ACD/Labs专家

云计算是数据处理的未来。所有系统都将连接到云端。它是安全的，简化了基础设施从而降低了成本，提供了更好的性能，并且是可扩展的。根据您选择的系统，它也可以是“未来的证据”。然而，重要的是，系统架构师要考虑科学家的数据访问需求。数据是否需要在生成后立即访问，还是在以后访问，这是考虑如何构建数据管理解决方案时的重要信息，以确保无缝过渡到基于云的数据访问。

岛津专家

我们已经在一些CDS的安装中看到了基于云的数据存储选项，而且这一趋势将继续下去，因为它使数据访问和共享更加容易。与此同时，这将要求数据安全和数据保护达到一个新的水平。一个积极的方面是，数据存储和归档是外包的，不会绑定现场的IT资源。

人工智能软件将在“标准”软件中实现，使用数据库包进行峰值提取、处理和识别。自学习算法将支持方法优化，并根据分析物的结构信息估算保留时间。

开发和维护用于研究的特殊程序和数据库是一项耗费时间和资源的任务。如果这样的一个标准被业界接受并使用，仪器供应商必须提供与这些程序兼容的数据。可能还会有关于新的标准数据格式的协议，通过转换来使用或支持这些格式。

最后但依然重要的一点——很高兴看到工作流和参数定义在供应商之间进行调整，数据处理，至少对二维（2D）数据而言，成为一种可通过网络访问的通用软件，所有色谱工作者在登录专用云后都可以使用。

问题3从实用的角度来看，“大数据”最近的哪一项发展对色谱最重要？

赛默飞专家

虽然这可能听起来很无聊，但对分析实验室最大的影响是能够将具有相同功能、用于相同研究或相同学科的所有仪器和设备的数据汇集在一起。在一个地方实现数据获得是每个分析、挖掘或算法应用的必要前提。因此，色谱工作者所做的任何努力都使他们向快速、高效和无错分析迈进了一大步，从被动的审查或错误处理转变为主动的问题预防。这可以通过云端已具备的无限计算能力来实现，对于部署全球连接系统来说，云计算能力正变得越来越主流。

安捷伦专家

AI和ML在过去几年里发展迅速，人们在日常生活中越来越多地意识到它们的优势。以搜索引擎为例，谷歌极大地改变了我们搜索、计划旅行和浏览新闻的方式。随着AI和ML技术的成熟，将有更多具备这一技能的科学家进入色谱领域，并将这些技术应用于实验室。

在目前状态下，色谱分析人员基于特定的问题来分析数据，目的是确认预先定义的假设。通过AI和ML，色谱工作者可以从大量非结构化数据中发现新的趋势和模式，给他们提供以前未知的见解。从长远来看，这将极大地促进科学研究的进步。

ACD/Labs专家

AI和ML可以帮助在让人晕头转向的大量数据中发现数据之间的关系和数据背后的意义，提供潜在的预测结果。虽然AI和ML可以极大地改善流程，但它的质量取决于输入的数据。例如，对于色谱领域来说，有许多可能的仪器组合，如果数据收集质量差或不完整，结果可能会有偏差。

岛津专家

分析智能化已成为诸如自动恢复，启动，自检和反馈等的特色。除了额外的自动化，这可以实现快速简单的硬件诊断，并有助于减少系统的宕机时间。通过应用更多的过程分析技术（PAT）功能和更多的系统向中央服务器的反馈，色谱工作者可以专注于他们的工作，而几乎不需要关心硬件。

问题4您认为在色谱工作者在采用新的数据解决方案的道路上有什么障碍？

赛默飞专家

最大的挑战之一是需要遵守药品生产质量管理规范（GMP）和数据完整性指南。验证指南是为了将软件安装在在用户或组织所在的经营场所的计算机中而起草的，实验室现在需要将它们的验证原则转变为一个去中心化的、通常具有抽象存储特点的全球化连接世界。简而言之，证明数据完整性的要求现在要至少包含一个额外的参与者，即您的数据的宿主。这增加了您验证任务的复杂性，需要在思维和执行验证方面进行改变。

另一个重大障碍是数据访问的潜在延迟，因为需要将数据从实验室传输到中央位置/装置并在那里访问数据。虽然互联网和云的表现足够快，可以提供正面的用户体验，但内部基础设施往往是速率受限的环节。例如，在您的局域网中，一个性能较低的单元，例如一个旧的10MB交换机，会使整个数据流量降低10倍。基础设施的适用性是将数据传输到中央存储库的关键先决条件，并增加了对您的IT基础设施的依赖性。

安捷伦专家

几个因素造成了相关方案采用的缓慢。首先是复杂的实验室生态系统。由于系统和解决方案的互联性，任何更改都必须评估其对生态系统中所有组件的影响。此外，需要尽量减少宕机时间，因为许多实验室都是以24小时/7天的时间模式满负荷运行。方案实施后，受监管的实验室需要对变更进行验证。为了采用新的标准操作程序（SOPs）并避免错误，还需要对技术人员进行额外的培训。因此，采用新的解决方案是困难和耗时的。

ACD/Labs专家

采用新的数据解决方案是一项艰巨的任务。以一种管用的方式设置系统需要时间，验证和实施（确保系统满足数据完整性要求并确保数据安全）需要时间，学习新的系统需要时间。这些因素往往会导致不愿改变，从而妨碍采用有用的解决方案。

岛津专家

对于分析实验室来说，改变既定的工作流是很要命的，操作人员并不总是具有很强的分析背景和经验。新的用户界面，新的操作工作流，以及在最坏的情况下，对软件中已知参数的新定义，都需要对用户进行大量的培训，直到最终采用新的解决方案。长时间宕机的风险很高。现在，为了兼容现代操作系统和病毒防护，我们要面对反对安装必要的服务包或补丁的声音。

在新软件推出和稳固之前，新特性和功能需要首先证明自己的优势。另一个方面是数据的比较和传输，“旧”数据怎么办？法律规定旧的数据和结果必须保存，并在需要时以供检查——维护一个老旧软件是一个好的解决方案吗？特别是当它意味着需要一些如何操作它的知识时。

问题5在2021/2022年，数据处理技术方面最大的成就或新闻是什么？

赛默飞专家

采用具有无限存储空间的云计算，支持数据聚合的计算能力，以及先进、超高速数据分析达到了一个新的水平。

安捷伦专家

在过去的两年里，越来越多的数据科学家进入了这个行业，并给分析行业带来了变化。数据科学家擅长使用科学的方法、算法和系统分析并提取结构化和非结构化数据背后的规律。他们可以成为具有化学背景、了解实验室案例和工作流的应用科学家的很好的互补伙伴。与应用科学家一起，数据科学家可以利用模型和算法来分析和可视化历史数据，并让应用科学家将新发现与工作流/实验联系起来。

除了科学发现外，数据科学家还可以通过评估仪器性能表现和数据管理指标来提高实验室操作效率。数据科学家也许能为实验室如何更好地存储、组织和管理数据提供新的视角。

ACD/Labs专家

本地获取的实时流数据，并将其存储在一个CDS的某个云实例中，这改善了IT系统。随着大数据的最新发展，对于下游数据分析而言，这简化了数据传送。