「李靖」大模型背后，一个专业 AI 团队的进化

2 全原先方法

它既是提效的方法，能把人从繁重的劳动之中冷血地。它也是造就性方法，能造就造出人造就不造出来的东西。例如，本年 Diffusion Model 展示造出的文生图灵活性。

3 从新界面

曾有，我们不可不须通过编所写程序在来访询问数据库和 API，而以从前，似乎才都会所需编所写繁琐的示例，只需用词法叙述，大建模就能自动降解示例。

4 从新动力

大建模不仅仅是单一点灵活性，它可以作为动力，驱动信息集成、沟通降解、甚至造就故事等岗位。

大建模还随之而来了全原先生态环境，这就是如何跟产业融合上到的询解决办法。

我们相信大建模不仅仅是普通的 API，或者不可彻底改变的建模。我们爆冷调中下游Corporation原材料建模再行次，沿河客户要顺利进行大幅度的操练，跑完就此一公里。这样，建模就能嵌入到每个客户自己的桥段之中。当建模表现得越少好，利用的数据库就越少多，又都会反过来加爆冷建模。这样不可不须真正仰动整个产业的其发展。

在这个从新生态环境之中，最中下游是认真二阶建模的Corporation，二阶建模往下有许多制作团队，都会投身于于特定灵活性或应用于的建模。之后往下，就是与彻底解决方案Corporation、云原材料商和应用于程序在原材料商合作，造就各种各样的商品，事与愿违服务于上到的企业和政府。

李家安叙述的大建模从新生态环境

从二阶建模到真正的上到，这涉及了极为多的节目和链路，也造就了许多原先生态环境位。我真的，每个人都可以融合自己的特长，直觉在这个生态环境系统之中要占有据哪些方位。本来任何兼学转入到大建模应用于的人，都可以从之中找寻自己的方位。

「姜子牙」大建模背后我们制作团队仍然前身两年，从我们过往的漫长之中，可以很清楚地看不到这种认识论彻底改变对我们造成的影响。

长期到本年年内，我们都是开发大量的开放源码建模，认真并不相同的建模基底和战斗任务类型。仅在一年的星期里，我们就开放源码了 98 个建模，创下了之中英文应用于的开放源码纪录。

然而，本年年内，文生图的建模作为一款爆品突然再行次造出现了。于是我们开始转向，认真了之中英文第一个开放源码的 Stable Diffusion 建模，我们称作「太乙」建模。我们决心能跟上大建模的从新技术认识论彻底改变。

到了或许国际标准大建模的时代，我们制作团队刚刚加班加点干的事情是，为之中英文操练同样的开放源码二阶大建模。这就是大家都知道的 LLaMA2。我们操练了 20B 的 token，远比于之从前操练的「ziya-LLaMA-13B」建模，操练速度提高了 38%，彻底彻底解决了操练流程之中不稳定「训飞」（操练异常）的询解决办法。

操练 20B token 再行次，LLaMA2 彻底解决了操练流程之中不稳定的「训飞」询解决办法

这个建模我们操练造出来再行次将都会几乎开放源码，而且不都会有任何商业性应用于上的容许。同时，我们承诺都会对这个建模顺利进行过后的操练，决心为整个大建模社区包括一个同样的开放源码可商用建模的二阶。

在当从前的从新技术认识论下，来年仰造出的 ChatGPT 令许多达安奋不已，询问道国际标准大建模将压制各行各业。然而，随着星期的仰移，我们无济于事断定，大建模本来只是对原先桥段的净立体化和优立体化。因此，我们认识到在垂直零售业、应用于和灵活性上，无论如何有许多大建模应用于的意味著性和从之中发挥作用。

所以大概一个月从前，我们制作团队原材料了一系列专家建模，比如多也就是说种概念建模、示例建模、所文学创作建模、沟通建模等。其之中许多都仍然发布，并达到了应用于内最造出类拔萃的高度。

我们都只刚刚开放源码了之中英文协同岗位建模，称作「子牙 writing」。我们决心这个建模不可不须成一个WWW即用的小助手，为企业和个人包括提效的支持。例如，政府执法人员可以让子牙 writing 协助所写灾害情况的汇报，或者所写领导者在开幕式上的致辞，因为它能极为符合政策报告的情调。

另外，它还可以让之中英文社区的创作者、运行执法人员和仰销执法人员从之中冷血地，协助所写多种不同的文章、先为、软文，甚至可以创作造出类拔萃的短篇小询问道，甚至一篇古代修仙玄幻的网文小询问道。我们可以看不到，它不管是在章节基底逻辑性、还是故事上，都有一个极为好的表现。

我们还开发了一个集成包，只用作了一个亿的模板。它在法律和股票市场应用于的敏感度都要强于现收尾的一些彻底解决方案，甚至比现收尾开放源码同样的内积建模还要好。我们的方法包也可以成股票市场零售业的小助手，为研究员和高盛包括协助。

我们为什么可以原材料造出这么多高质量建模？

背后是我们的许多依靠，包括三收尾的操练系统（预操练 PT、有统筹修正 SFT、人类反馈进修 RLHF），包括依靠的大量高质量数据库、自研的一些算是法、以及把它沉淀到我们的操练系统之中。

我们的每一个建模都同时支持开放源码和商业性版，并许可权我们的三人顺利进行操练和修正，让他们在自己的桥段下面认真私有立体化的操练。

由小见大，从我们一个制作团队的彻底改变，也反映造出或许整个大建模应用于从新技术认识论的彻底改变。

现场提询问

IDEA 制作团队接受现场提询问

询问：如何看待预见应用于程序在逻辑仰理架构？预见的应用于程序在是长期「训仰一体」，还是都会有专用逻辑仰理CPU的从之中？

李家安：本来我们曾有是操练和逻辑仰理两类CPU，但是以从前的逻辑仰理CPU或许无法适应以从前的大建模.

所以现收尾，也就是说从应用于程序在的容许来询问道，认真「训仰一体」比较多。而且训仰一体有极为大的益处就是它可以则否算是力。我们逻辑仰理举例长期是仅限于满负荷状态，所以可以充分利用波谷的星期认真操练，这也便是农业的星期来考虑。

预见来看，逻辑仰理CPU无论如何具有其发挥作用的涵义。在某些桥段下，比如移动端、边缘计算是或车载设备等，无论如何所需独有应用软件的逻辑仰理CPU。即使在云端、服务器之中，如果逻辑仰理CPU朝着低功耗或者其他各个方面不可不须有更多的优立体化，那它也有发挥作用的涵义。我真的预见不应还是都会有专门的CPU认真专门的事儿。

询问：针对一些垂直类的应用于，不应从哪些取向去搜集数据库比较好？如何实现高质量的数据库集？

李家安：本来我们整个数据库也都是渐渐利用的，从最开始只有二三十个数据库集。但不断通过操练，比如由此可知了哪以外灵活性，我们就都会全面性利用一以外这样的数据库，同时都会有我们自己的一些经验依靠，比如一些数据库处理之类的。

就此如果实在没有，我们都会自己基底一些数据库。比如针对多达沟通等，我们都有各种各样的并不相同类型数据库集在之中。

询问：为什么认真了这么多专项灵活性建模？为什么全都同一个建模上同时提升这些灵活性？

李家安：我们有几点考虑，第一是我们事先选定了这样的建模重量，可选择这个建模重量再行次，再行想要让这个建模具备什么灵活性，这就是受限情况下的命题。这是极为大的成本优势。

这个时候想要把所有灵活性放进来一个大建模里，但是这些灵活性在星期和维度上是反之亦然的。在维度上，某些灵活性是反之亦然的，比如当时我们认真了逻辑逻辑仰理各个方面的询解决办法，比如数学题的询解决办法和所文学创作类的询解决办法它们是有冲突的。另外是星期上的冲突，在某一个时刻某个灵活性是最爆冷的，但其他灵活性意味著不是较爆冷。

既然沿河的桥段只是所需单一灵活性，那我们干脆去只选取某些特定的数据库集操练某些战斗任务，就是专用建模。

询问：你讲到不稳定「训飞」询解决办法被彻底解决了，这是如何被彻底解决的？

李家安：这之中很极为重要的一点，第一是我们的操练上认真了调整，我们在分布式操练时在源码层认真了改写，确实操练的稳定性爆冷了很多。我们当年操练 Ziya-LLaMA-13B 的时候，那个操练集的椭圆就稳定了。我们是一个极为投身于于操练从新技术的大建模制作团队，这也是我们不可不须过后认真造出好建模的保障。

询问：对于公域大建模和私有立体化大建模的讨论，建模一定要私有立体化吗？比如我要认真一个 to C 的应用于，我可以不认真私有立体化部署吗？

李家安：首先，我们断定我们的合作有一些数据库安全合规和隐私各个方面的所需，他们的数据库不能去用作公有的建模去认真操练。第二，他们所需有一个极为广度的桥段，应用软件的所需，不管 to B 的商品还是 to C 商品，他们都决心在自己的桥段去用。

这个时候，公有的大建模或者国际标准大建模底座并不能几乎满足他们每一个所需，所以私有立体化操练和私有立体化部署就成他们的不可不可选择。