分享重点: 随着大语言模型( LLM )技术的飞速发展,如何将其高效落地于具体业务场景已成为业界焦点。本次讲座以 “ 大模型微调、性能测试与能力评估 ” 为主题,旨在深入探讨大模型工程化落地的核心技术闭环。 讲座将围绕三大核心模块展开: 1.模型微调( Fine-tuning ):解析主流的参数高效微调技术,分享如何实现通用大模型的进行 Lora 方式进行微调的全过程。 2.性能测试( Performance Testing ): 聚焦大模型推理部署的工程挑战,探讨吞吐量、首字延迟及显存占用等关键指标的测试,以及测试工具的使用。 3.能力评估: 系统介绍科学的评估体系构建方法,涵盖主流基准测试,微调后的单元测试以及 LLM-as-Judge 的测试。