地球科学是一门古老的学科，不仅研究岩石、矿物和土地的性质，还探讨地球的气候、海洋、大气、生态系统等多个方面现象和原理。地学与我们的日常生活息息相关，帮助我们预测天气，了解地球的演化历史，维护海洋生态系统平衡和海洋资源均衡等。同时火山活动、地震、恐龙化石、气象现象等引人入胜的内容，也被一个个地学工作者阐述出来，带给大家一个又一个令人惊奇和引人入胜的故事。
总的来说，地球科学是一门理论性、应用性都很强的自然科学。从理论性上来说，它承担着揭示自然界奥秘与规律的使命。从应用性上来看，它为生活在地球上的人类如何适应、利用、保护自然提供了科学的方法论。但是一味的通过传统的理论和实践的方法并不能高效的发现新的地学理论，整合传统的地球科学和利用计算机科学的处理大数据成了地球科学的新科研范式。
很长一段时间以来，计算机科学已经成为地球科学不可或缺的一部分。地球科学涉及大量的数据，包括文献数据、地质数据、气象数据、遥感数据等。计算机科学提供了处理、存储和分析这些海量图片、文本和数字等模态的数据的工具和技术。这两个学科的交叉融合已经成为大势所趋。
其中，文本数据挖掘是重要的但是最容易被忽视的一个重要组成部分。从大量的文本数据中提取有关地球科学的信息、模式和趋势，可以加深对地球科学的理解，并为科学研究、决策制定和问题解决提供支持。与此同时，近年大火的语言模型又是文本数据挖掘重要的工具。因此，在这样的一个属于大语言模型的时代，推出一个地球科学这个垂直领域的基座语言模型势在必行。
最近，来自上海交通大学的团队推出一个 70 亿参数的地球科学大语言模型名叫 K2。K2 是基于初代 LLaMA-7B 模型，并使用了 100 万余篇地球科学文献以及和地球科学相关的维基百科的文章进行更进一步的预训练。同时设计了第一个地球科学领域的微调数据集 GeoSignal，包含文章内容、类别、参考文献、提到的实体等，适用于解决回答地球科学方面的专业问题、完成命名实体提取、地学概念上下位关系判断等任务。
区别于大多数垂直领域的模型训练的思路，该团队通过独特的数据重构技术生成指令微调的数据，而不仅仅是利用 self-instruct 等方法，利用 ChatGPT 生成的数据来进行指令数据的采集。
同时为了评估模型在地学知识的理解和应用方面的能力，他们还建立了第一个地球科学语言模型的基准 GeoBenchmark，它主要由中国的地理、地质学的考研题目和美国的地理、地质与环境科学的 AP 考试题目组成。有意思的是，ChatGPT 和 GPT4 在地学相关的 AP 考试上的分数并没有随着 GPT4 的技术报告一同给出，留给大家十足的想象空间。
在大模型纷争的时代，大多数垂直领域的大模型训练都有统一的范式，那就是先进行专业领域语料的预训练，再进行指令微调。但是大多数的模型在预训练阶段使用的数据并不透明，指令微调的数据更多的是蒸馏 ChatGPT 来抑或进行高价的人工标注。但是 K2 针对地学这一个垂直领域给出了一套技术路线，从计算机角度通过数据的整合和提炼来进行学科交叉的知识工程和模型构建，这是 K2 之于数据挖掘和自然语言领域的贡献之一。
针对预训练数据，该团队基于 Grobid，PyPDF2 和 DeepShovel (https://deepshovel.deep-time.org/) 等工具开发了一套数据清洗工具包。
DeepShovel：是一款辅助地学科学家进行知识抽取的文献标注平台，也陆续推广至所有的学术领域。目前 DeepShovel 以及辅助超过一百家地球科学的科研单位。
其中，每一篇地学开放获取（Open Access）的论文都会被转化成对于计算机来说可读性极高的 Markdown 格式的文本，有着多级标题的区分、公式和引用的特殊词元（Special Token）以及图片和表格的注释文本也被特殊词元保存下来。经过一系列的操作，累计获取了 5.5B 词元（Tokens）的文本语料。目前他们正在构建更大的学术资源的语料，旨在进行更大规模的学术大模型的训练。
针对指令微调数据，该团队通过多个自主研发平台上的数据融合，通过数据重构，将具备一定结构化的网页进行了解构，并重组成一套 knowledge-intensive 的数据。在这个过程中，上海交通大学团队集中团队内部所有的平台课题组的力量，进行数据的充分重组，从而构建了一套独一无二的具有特定地学任务的知识性指令微调数据集。
据论文描述，上海交通大学团队在过去的 3 年，相应 DDE 大科学计划（https://deep-time.org/）的号召，完成研发的地学数据和功能平台共 4 个。
Deep literature https://ddescholar.acemap.info/ 致力于打造地学领域的 DBLP，将所有的地学学术文献进行整合并依托这个平台进行一系列的数据挖掘和学者画像的分析。
GAKG https://gakg.acemap.info/ 致力于打造地学领域的多模态学术知识图谱，对所有的地学学术文献进行数据的挖掘，抽取文献之间的关联关系、地学知识点之间的上下位等语义关系以及地学文献内的知识挖掘。对外提供了语义查询和文本搜索系统，也是 CIKM 历史上第一篇地球科学相关的科研文章。GAKG 对外也提供了数据下载、语义查询和文本搜索的平台。同时，GAKG 的技术工作也发表在 CIKM 上，也是一篇计算机科学领域与地球科学交叉研究的科研文章。
GSO https://gso.acemap.info/ 是利用机器生成人工修正的地学知识树系统，用上下位关系维护了地学知识点之间的关联，这给大模型提供了很好的地学知识链接预测的监督信号。
DataExpo https://dataexpo.deep-time.org/ 通过关键词检索以及文本分类归纳了所有的地学数据集。
这些平台承载着地学的知识元数据，如果通过人工整合平台底层的数据逻辑，将可以很快的获得地学知识之间关联关系，以及一定的任务驱动的数据集。
基于 DDE Scholar 可以获得地学相关的科研文献，并且通过其中 OA 的文献的下载链接，可以下载下来构建预训练语料，通过 GAKG，可以构建实体抽取的数据集，语义上下位词的知识判断的数据集。通过 DeepShovel 一直以来的数据积累，可以构建特定任务的地学问答系统，以及文献中表格抽取的数据集。通过 DataExpo，可以得到数据集相关的知识文本，也可以一定程度上类似科研文献一般，提供地学知识的监督信号。
当然，一定程度上的蒸馏 ChatGPT 确实能辅助模型向 ChatGPT 靠拢，因此针对不同的地学领域，K2 还集成了一套基于 Self-instruct 的指令微调数据集，并且在 ChatGPT 生成之后也通过了专业地学同事的审核，进而得到高质量的监督效果。
