这份方案回答三件事:各模型版本需要哪些数据、分别在谁手里、按什么顺序取得。开放内容按许可直接取得;需要授权的部分按持有方逐一洽谈,交付规格与合规口径在签约前与团队、法务对齐。论文是目前唯一有公开规模口径的部分,其他形态的供给更分散,规模以团队现有清单为准。
本方案针对基础模型预训练数据的寻源、采购与合作方管理,包括对需求和供给的理解、可投入的资源,以及入职后三个月的工作安排。
工作目标:各模型版本所需数据按时到位、覆盖完整,来源可追溯、合规可核验,成本可控,逐步形成同行不易复制的内容来源。
完整表格与数据地图见在线版:nicolewang-data-sourcing.pages.dev
把算法团队的需求转成可执行的采购清单,并提前于模型版本布局。
只回答供给格局:有多少、在谁手里、许可状态如何、还有哪些形态。接触与洽谈放在第四步。
以下三个数字均为期刊论文口径,是目前唯一有公开统计的部分;其他形态见下方持有方表。
仍以期刊论文为例,全球约 1.87 亿篇,按采买用于训练的方式划分:
目标是覆盖完整。在人力和预算有限时,先取得对训练价值高、容易落地的部分。
四档速览
| 档位 | 重点内容 | 判断依据 |
|---|---|---|
| 第一档 | 许可允许商用的开放论文 | 没有授权费,合规依据清楚 |
| 第二档 | 国内期刊集群与学会期刊;已有成交先例的国际出版社 | 可形成独占,洽谈路径明确 |
| 第三档 | 其余国际大社、学位论文、按语种推进的地区平台 | 体量大,洽谈周期长或需先定语种 |
| 第四档 | 企业文档、行业报告等垂类数据 | 单位成本高、合规审查重,先验证渠道 |
按团队既定流程,把名单推进到可签约的合作:接触、评估、谈判、交付与验收。
这一条贯穿全程,不是前四步做完才补:先掌握团队现行的流程、口径和已有合作方;日常的记录、核对与风险上报,按团队规范执行。
按团队规范执行时,需要提前留意的风险
| 风险 | 应对要点 |
|---|---|
| 权属不清 | 签约前核实权属文件,合同写明权利保证与赔偿责任;来源不明的内容不采购 |
| 政策变化 | 逐篇留存授权依据;海外与国内来源并行,不依赖单一渠道 |
| 交付不达标 | 分批交付、验收、付款;关键内容保留备选来源 |
| 价格被抬高 | 参考团队已有报价记录;优先洽谈同行尚未覆盖的长尾内容 |
| 需求变化 | 按训练价值排序,先买确定需要的;大额合同分期 |
| 信息外泄 | 先签保密协议;对外只说明内容类型,不说明用途细节 |
第一个月摸清需求和现状并联系完现有资源,第一季度把首批闭源内容推进到授权洽谈与合同阶段。
入职首周先与团队、法务确认