求知 文章 文库 Lib 视频 iPerson 课程 角色 咨询 工具 讲座 Model Center   Code  
讲座:开源大模型本地部署与应用

主讲:刘老师
哈佛大学人工智能方向博士后/高级访问学者
时间:2025年10月18日
费用:免费
分享重点:
      因为信息安全和领域专业的需要,很多企业需要大模型的本地化部署,本讲座结合开源大模型实例,讲解 大模型的选型、本地部署和应用。
  • 课程安排:

    • 1. 开源大模型概览
    • 2. 开源大模型的本地化部署
    • ① 模型选型与获取
    • ② 推理实现
    • ③ 微调训练
    • ④ 在线部署
    • 3. 开源大模型应用
    • ① 大模型调用
    • ② 利用RAG技术
    • ③ 开发智能体应用
  • 目标听众:关注AI的技术人员
  • 请关注官方微信号,了解后续的课程!
     
    问题收集(以下为最新20个问题)
    问题1:在普通电脑上使用的场景?
    问题2:大模型在无人机领域,航迹规划避障领域应用?
    问题3:大模型客服系统应用的水平?

    问题1:大模型模型部署后的保护措施有哪些?
    问题2:物联网设备目前部署大模型仍然存在瓶颈,未来这个方向的发展态势?
    问题3:大模型在网络安全的应用情况?成熟度如何?

    问题1:如何选择模型
    问题2:如何解决数据安全问题
    问题3:如何部署

    问题1:如何在Android端部署自己训练的模型
    问题2:Android端部署模型有哪些问题和卡点
    问题3:Android端部署模型有哪些限制

    问题1:如何减少开源模型部署的复杂性,有没有相应的解决办法?
    问题2:金融、医疗等行业为何倾向本地化部署?如何实现数据隔离与低延迟推理?
    问题3:开源大模型在垂直领域(如医疗、法律)如何通过微调实现专业化?​

    问题1:开源大模型的选型思路

    问题1:如何对Gemma 3n 或者 Embedding Gemma进行微调,扫描语言对话中的敏感信息如涉及个人信息,银行账号,转账 ,还有识别人的情绪紧张,焦虑等

    问题1:本地化部署对电脑硬盘配置要求为什么会那么高,一般配置的电脑都没法去部署后正常使用。

    问题1:如何提高RAG的检索效果
    问题2:不同的微调方法的比较,适用条件

    问题1:开源模型微调后的价值有多大, 怎么全面评估。

    问题1:如何正确打包环境在离线环境镜像部署
    问题2:大模型场景选型及对应的具体资源匹配情况,什么样的资源应该选择什么样的模型。
    问题3:模型在数据处理中的安全问题如何规避

    问题1:在企业私域模型,智能体应用中,面临如合同、招投标文件超长文本校对时,如何结合最新法规、企业自己内控要求、法务自身经营,超出上下午长度下完成这个场景

    问题1:大模型算力和数据存储的安全性如何确保?
    问题2:生产环境的数据如何防止大模型篡改?
    问题3:大模型在数据库运维中能做哪些工作?

    问题1:知识图谱应用方面,模型选型
    问题2:对于实体、属性、关系提取,是否用不同的模型效果会好一些
    问题3:用过deberta、LLM,效果都不太好,尤其是实体对齐方面,F1较低。

    问题1:自己部署的模型能不能跟常用的线上AI工具整合实现强大而又便捷的AI功能?
    问题2:输入一键优化功能如何实现?自己部署的LLM为常用的AI编程、生图模型做输入优化效果如何?
    问题3:把自己部署的模型集成到常用的IDE进行AI编程兼容性怎么样?

    问题1:开源大模型部署后如何训练优化
    问题2:开源大模型部署后怎么变成自己的智能体?

    问题1:怎么评判一个大模型能力的优劣?现在小尺寸模型越来越多,0.4B、0.7B的都有了,是否可以在普通电脑上部署?性能怎么样?
    问题2:怎么做微调,怎么使用RAG?

    阅读 408 26