腾讯把BERT方法用于单细胞注释技术，还登上了Nature子刊。

【资料图】

能辅助医生精准治癌的那种。

此次聚焦的单细胞RNA测序（scRNA-seq）技术，一直被称为生命科学领域的的革命性工具，对于“精准医疗”具有极高的应用价值。

但是，以前受制于数据样本量小、人工干预多等因素，一直难以推广使用。

这次腾讯首次将“transformer”应用到该领域，使其真正实现了高解释性、高泛化性、高稳定性。

目前，该模型已在GitHub上开源 （链接附在文末）。

新模型怎么做到的？

众所周知，人类各种组织之间细胞的类型、状态和相互作用差异巨大。

而单细胞RNA测序技术的出现，可以细粒度地观察和刻画各个物种中组织、器官和有机体中单细胞分子图谱（细胞表达），堪称给细胞中的每个基因都印上专属“身份证”。

通过这一技术，研究人员可以更好地研究这些组织及其中存在的不同类型的细胞。

更进一步地说，还可以更好地了解肿瘤微环境，以达到精细分析病因、精准匹配治疗方案的效果。

但是，受数据样本量小、人工干预多、过度依赖marker gene（已报道的特异性基因）等因素的影响，单细胞测序细胞类型注释技术一直面临着泛化性、可解释性、稳定性均比较低的问题，现存的算法也难以有更广泛的应用。

具体来说，人工注释费时、主观性强、误差大、不利于发现新的细胞类型；机器注释则经常出现在一个检测组织里有效，换到另外一个检测组织里就没效的问题，还是需要人工参与。

为此，研究人员开发了一种基于预训练深度神经网络的模型：scBERT模型，并首次将“transformer”运用到单细胞转录组测序数据分析领域。

scBERT模型，顾名思义是基于BERT的思路和范式。

在预训练数据选择上，为了保证全基因组内基因级别的可解释性，scBERT没有做任何的降维或筛选处理，最大程度上保留数据本身的特性和信息。

此外，该模型复用了大规模的公开数据集，包含不同实验来源、批次和组织类型的单细胞数据，以保证模型能学习到更为“通用”的知识，精准捕获单个基因的表达信息及两两基因之间的作用关系。

在实验中，scBERT模型也证实了其在单细胞测序上呈现出的高解释性、高泛化性、高稳定性。

截至目前，通过了9个独立数据集、超过50万个细胞、覆盖17种主要人体器官和主流测序技术组成的大规模benchmarking测试数据集上，该算法模型的优越性均得以验证。

值得一提的是，在极具挑战的外周血细胞亚型细分任务上，相较现有最优方法的70%准确度提升了7%。

不仅如此，这一技术的突破在实际应用中也有很重要的价值：

未来可用于临床单细胞测序数据，并辅助医生描述准确的肿瘤微环境、检测出微量癌细胞，从而实现个性化治疗方案或者癌症早筛。

同时，对疾病致病机制分析、耐药性、药物靶点发现、预后分析、免疫疗法设计等领域都具有极其重要的作用。