网页爬取数据

全球最大的开放网页爬取项目，每月爬取数十亿网页，免费提供WARC/WAT/WET格式数据，是训练大语言模型的核心数据基础设施。