CSV、JSONL、XML 怎么选?小语种语料库的数据结构入门

更新时间 2026-10-08 09:02:05

做小语种语料库，团队经常把时间花在采集、翻译和标注上，直到交付前才发现：客户要的是JSONL，标注平台导出的是CSV，合作高校提供的语言材料又是XML。

格式转换看起来只是技术细节，却可能暴露更深的问题：一句话的方言标签放在哪里？一段音频对应多句转写怎么办？原始文本和译文如何保持对齐？授权范围能不能跟着样本一起流转？

选格式之前，先定义“一条数据是什么”。格式是装数据的容器，数据结构才决定语料以后能否清洗、训练、复核和交付。

格式	最适合装什么	优势	主要限制
CSV	字段固定、每条记录结构相同的文本或双语句对	容易用表格查看、筛选、人工校对	多轮对话、多个标签、嵌套关系表达不便
JSONL	一条记录包含多个字段、数组或嵌套对象	适合逐条处理、增量写入和模型数据流水线	人工直接审阅不如表格直观，字段规则须另行约定
XML	需要保留文档层级、段落、说话轮次和语言标记的材料	擅长表达复杂结构与文本内部标注	制作和维护成本较高，供模型使用前常需转换

CSV常用于表格数据交换，但不同软件对分隔符、引号和换行的处理可能不同；JSONL要求每行是一条有效JSON数据，并使用UTF-8编码；XML则用标记表达文档的逻辑结构，还可配合模式文件校验结构。

一句话选择：简单、固定的表格用CSV；面向训练和多字段记录用JSONL；需要保存复杂文献结构或遵循既有编码规范时用XML。

CSV：先把基础语料管起来

假设企业要建设中文—越南语客服翻译语料库，每条样本都包含相同字段：

text

sample_id,source_lang,target_lang,source_text,target_text,domain,review_statuscs_001,zh,vi,您的订单正在配送中,Đơn hàng của bạn đang được giao,logistics,approvedcs_002,zh,vi,如何申请退款？,Làm thế nào để yêu cầu hoàn tiền?,refund,approved

这种数据很适合CSV。译员可以逐行校对，项目经理可以按领域筛选，质检员可以检查哪些记录尚未审核。

但CSV有一个常见陷阱：一行并不总等于“一行文字”。当字段本身包含逗号、引号或换行时，需要按CSV规则正确引用和转义，不能用简单的“按逗号拆分”处理。

CSV更适合以下场景：

双语句对；
术语表；
单轮问答；
文本分类结果；
简单的语音文件索引；
人工校对与批次验收清单。

当一条客服消息同时涉及“退款”“物流异常”“强烈不满”，你可以继续增加多个字段；但若每条记录的标签数量不固定，还要附上不同证据片段和审核记录，CSV就会逐渐变得难维护。

JSONL：让每条样本带上自己的上下文

JSONL可以理解为“每行一条独立的数据记录”。它很适合小语种语料逐批加工：读取一行，校验一行，处理一行。JSON Lines的基本要求是UTF-8编码、每行一个有效JSON值、用换行符分隔记录；在语料工程中通常约定每行使用一个JSON对象。

同一条翻译语料，用JSONL可以这样表示：

text

{"id":"cs_001","languages":{"source":"zh","target":"vi"},"text":{"source":"您的订单正在配送中","target":"Đơn hàng của bạn đang được giao"},"domain":"logistics","labels":["order_status"],"review":{"status":"approved","guide_version":"1.2"}}{"id":"cs_002","languages":{"source":"zh","target":"vi"},"text":{"source":"如何申请退款？","target":"Làm thế nào để yêu cầu hoàn tiền?"},"domain":"refund","labels":["refund_request","faq"],"review":{"status":"approved","guide_version":"1.2"}}

它还可以容纳数组和嵌套信息，例如一段多轮对话：

text

{"id":"chat_001","language":"id","turns":[{"role":"customer","text":"Pesanan saya belum sampai."},{"role":"agent","text":"Mohon berikan nomor pesanan Anda."}],"intent":["delivery_issue"],"risk_level":"low"}

这比把多轮对话硬塞进一个CSV单元格更容易解释。语音数据也可以采用类似结构：在记录里放音频文件ID、语言或方言标签、转写文本、时间戳和说话人匿名ID；大体量音频本身通常另存文件，记录中保存可追溯的引用。

要注意，JSONL格式本身只规定“每行是什么样”，并不替你定义字段。lang、language和language_code如果在不同批次混用，文件虽然都能打开，合并时仍会出错。

XML：保留文本“长什么样”

小语种项目并非都以一条句子为单位。有些团队采集的是访谈、口述史、教材、词典或长篇故事，需要保留章、段、说话轮次，以及文字内部的标注。

XML适合表达这些层次。例如：

xml

<?xml version="1.0" encoding="UTF-8"?><recordid="interview_001"language="vi"><speakerid="spk_01"/><utterancestart="00:00:01.200"end="00:00:03.800"><text>Xin chào, tôi muốn hỏi về đơn hàng.</text></utterance></record>