|
|
|
 |
|
| 主讲:刘老师
|
| 哈佛大学人工智能方向博士后/高级访问学者 |
| 时间:2025年10月18日 |
| 费用:免费 |
|
|
|
|
|
分享重点:
因为信息安全和领域专业的需要,很多企业需要大模型的本地化部署,本讲座结合开源大模型实例,讲解 大模型的选型、本地部署和应用。 |
课程安排:
- 1. 开源大模型概览
- 2. 开源大模型的本地化部署
- ① 模型选型与获取
- ② 推理实现
- ③ 微调训练
- ④ 在线部署
- 3. 开源大模型应用
- ① 大模型调用
- ② 利用RAG技术
- ③ 开发智能体应用
目标听众:关注AI的技术人员
|
请关注官方微信号,了解后续的课程! |
| |
|
|
| |
|
|
问题收集(以下为最新20个问题)
|
问题1:在普通电脑上使用的场景? 问题2:大模型在无人机领域,航迹规划避障领域应用? 问题3:大模型客服系统应用的水平?
| |
问题1:大模型模型部署后的保护措施有哪些? 问题2:物联网设备目前部署大模型仍然存在瓶颈,未来这个方向的发展态势? 问题3:大模型在网络安全的应用情况?成熟度如何?
| |
问题1:如何选择模型 问题2:如何解决数据安全问题 问题3:如何部署
| |
问题1:如何在Android端部署自己训练的模型 问题2:Android端部署模型有哪些问题和卡点 问题3:Android端部署模型有哪些限制
| |
问题1:如何减少开源模型部署的复杂性,有没有相应的解决办法? 问题2:金融、医疗等行业为何倾向本地化部署?如何实现数据隔离与低延迟推理? 问题3:开源大模型在垂直领域(如医疗、法律)如何通过微调实现专业化?
| |
问题1:开源大模型的选型思路
| |
问题1:如何对Gemma 3n 或者 Embedding Gemma进行微调,扫描语言对话中的敏感信息如涉及个人信息,银行账号,转账 ,还有识别人的情绪紧张,焦虑等
| |
问题1:本地化部署对电脑硬盘配置要求为什么会那么高,一般配置的电脑都没法去部署后正常使用。
| |
问题1:如何提高RAG的检索效果 问题2:不同的微调方法的比较,适用条件
| |
问题1:开源模型微调后的价值有多大, 怎么全面评估。
| |
问题1:如何正确打包环境在离线环境镜像部署 问题2:大模型场景选型及对应的具体资源匹配情况,什么样的资源应该选择什么样的模型。 问题3:模型在数据处理中的安全问题如何规避
| |
问题1:在企业私域模型,智能体应用中,面临如合同、招投标文件超长文本校对时,如何结合最新法规、企业自己内控要求、法务自身经营,超出上下午长度下完成这个场景
| |
问题1:大模型算力和数据存储的安全性如何确保? 问题2:生产环境的数据如何防止大模型篡改? 问题3:大模型在数据库运维中能做哪些工作?
| |
问题1:知识图谱应用方面,模型选型 问题2:对于实体、属性、关系提取,是否用不同的模型效果会好一些 问题3:用过deberta、LLM,效果都不太好,尤其是实体对齐方面,F1较低。
| |
问题1:自己部署的模型能不能跟常用的线上AI工具整合实现强大而又便捷的AI功能? 问题2:输入一键优化功能如何实现?自己部署的LLM为常用的AI编程、生图模型做输入优化效果如何? 问题3:把自己部署的模型集成到常用的IDE进行AI编程兼容性怎么样?
| |
问题1:开源大模型部署后如何训练优化 问题2:开源大模型部署后怎么变成自己的智能体?
| |
问题1:怎么评判一个大模型能力的优劣?现在小尺寸模型越来越多,0.4B、0.7B的都有了,是否可以在普通电脑上部署?性能怎么样? 问题2:怎么做微调,怎么使用RAG?
|
|
|
阅读 408
26 |
|
|
|
|
|
|
|