Stepstar实习-LLM 预训练数据算法工程师

【岗位描述】

• 参与工业级 LLM 预训练数据体系的构建与优化，包括但不限于Web、Book、Code等多源数据的数据挖掘与质量分析，直接贡献到万亿级别token的高质量语料库；
• 利用大规模CPU/GPU集群优化数据管线，支撑PB级数据的处理与持续迭代；
• 参与数据策略制定与消融实验设计，深度分析不同数据方案对模型能力，包括知识、推理、表达等方面的影响。 【任职要求】
• 计算机、数学、数据科学等相关专业，本科及以上学历；
• CS/Coding功底扎实，熟悉Python，具备深度学习/强化学习基础知识；
• 对数据科学有兴趣，有较好的数据sense，能从大规模数据分析与实验中识别影响模型表现的关键信号；
• 具备强烈的好奇心与自驱力，对AI数据体系建设与模型优化充满热情；
• 有参与LLM预训练数据相关工作的经验，包括开源数据集构建、评测集设计、数据清洗pipeline等优先；
• 每周不少于4天到岗，且能实习3个月以上。