LLM数据预处理工具

OpenCoder-llm/opc_data_filtering 是一个专为大规模代码预训练语料库设计的启发式过滤框架，旨在通过精确的规则过滤和清洗代码数据，确保用于训练大型语言模型（LLM）的数据质量。该框架包含超过100条过滤规则，支持多种编程语言，并易于扩展以适应不同数据集。它作为 OpenCoder 项目的一部分，主要用于代码数据的预处理，提升模型在代码相关任务上的表现。