“当库克站在苹果总部大楼外草坪的虚拟背景前，开始展示全新的iPhone 15时，居住在波兰的产品设计师沃洛季米尔(Volodymyr)转身拿起了自己的手机。他发了一条推特:
“我想念乔布斯。”
发布会表现出创新不足，库克在财报会议上关于“生成式AI嵌入到我们制造的几乎每一个产品中”的描述在新iPhone上没有找到任何明确的线索。乔布斯花2亿美元买下的Siri，当时很惊艳，现在定位越来越模糊。
在苹果总部大楼外，生成式人工智能技术正在接近现实，苹果也在世界各地的办公室增加人工智能领域的研发工作。但每当一项新技术即将出现的时候，那个总是穿着黑色高领，善于创意和融合的产品大师总是让人记忆深刻。
1979年，杰夫·拉斯金带着乔布斯去参观了位于加州帕洛阿尔托的PARC研究中心。PARC是现代个人电脑几乎所有元件的诞生地，杰夫·拉斯金是当时研究中心的计算机科学家。Larry Teyssler和Dan Inghes向他们展示了一种叫做SmallTalk的新的面向对象编程语言。
乔布斯不喜欢系统曲折的滚动方式。他问对方能不能改成平滑连续滚动的方式。丹·英格斯(Dan Inghes)想了想，一分钟就完成了代码更改，系统变成了流畅连续的滚动模式，这让乔布斯和所有跟他一起来的苹果员工都大为震惊。
不知道这是不是20多年后iPhone滑动解锁屏幕的来源。
来源:SMALLTALK的早期历史
这个故事记录在回溯文章《SMALLTALK的早期历史》中，small talk是一种古老的编程语言，或者说是一种可以自由编辑的操作系统。SmallTalk的理念是，即使非程序员也可以修改或组合程序员开发的应用程序或组件，以创建符合自己需求的应用程序。另外，任何人都可以直接修改SmallTalk系统的代码来定制整个系统，系统的所有逻辑都直接暴露在用户面前。
就像丹·英格斯向乔布斯展示的那样。
那个滑盖的想法是乔布斯高级敏感度的一瞥，他用它来攻击旧时代，并最终为苹果带来了多年的繁荣。但是现在苹果有超过3400万的开发者。苹果在库克的领导下，早已由攻转守，露出了老态。而最新鲜的一群人，他们的心思不仅仅在iOS商店或者Xcode上。
随着ChatGPT的出现，大型语言模型(LLM)作为一种实用技术受到了关注。
蔡斯·夏里逊，前金山软件公司Robust Intelligence的机器学习工程师，于2012年10月底推出了朗链。这是一个开源的Python库，封装了很多LLM应用开发逻辑和工具集成，提供了一套工具、组件和接口，允许开发者链接提示、模型和解析器，使用底层模型创建更复杂的用例，简化了创建大型语言模型(LLM)和聊天模型支持的应用的过程。
LangChain就像是SmallTalk的惊人故事时隔40多年的回归。这个开发框架被称为“中间层”或“中间件”,正在成为LLM应用程序开发人员最热门的工具。
来源:媒体
ChatGPT Pulgin于5月推出，Chat Completions API于6月进一步推出，提供了调用函数的能力。OpenAI什么都想做，LangChain的未来开始蒙上阴影。但这并不意味着它会作为一种短期的热潮而逐渐消失。“在硅谷，通用大模型的竞争已经结束，现在每个人都在谈论开发LLM应用，”过去三年一直在硅谷的蔡健说。
大变革在浮出水面之前总有商业层面的主要受益者(这很正常)，而正是微软、谷歌和英伟达给了这场大变革最充足的燃料。在这条主线之外，敏锐的创业者需要找到第二个地方。
但今天的一个问题是，SmallTalk这样的工具和它的思想在某种程度上为乔布斯这样的非程序员的成功提供了基础，而LLM时代的新乔布斯在今天似乎还没有得到这样的支持，还在苦苦挣扎。
很多人开始挑战这种情况，比如现在想定义大型模型软件开发的Harrison和LangChain，或者认为LangChain还不够犀利的蔡健和他的创业项目ReByte。
中间件还是中间层？
生成式AI的定义权暂时受制于OpenAI，“中间件”的概念第一次在大模型的背景下被广泛关注，也来自OpenAI的创始人Sam Altman。
“我认为会有一小部分基础大模型，但我对所有试图训练自己模型的创业公司持怀疑态度。将会发生的是，一些新的创业公司将采用现有的大模型并对其进行调整，而不仅仅是微调。Milldelayer将变得非常重要。”在去年秋天的一次人工智能讨论中，Sam Altman分享了他对未来的预测。
“中间层”这个概念很容易混淆，它让人想起软件时代的“中间件”，奥特曼用的是“中间层”这个词。
“中间件包括应用运行时、企业应用集成和各种云服务，可以帮助开发者和运营商更高效地构建和部署应用。数据管理、应用服务、消息传递、认证和应用编程接口(API)管理通常通过中间件来处理。但像LangChain这样的“中间层”并不是这个意思。
这是一个罕见的由排除位置定义的概念。只是因为它既不在模型层，也不在应用层。这个“中间层”的概念，在大模型出现智能之前，没有合适的参照物。
“所有在用中间层定义的人，其实自己都不理解这个概念。”蔡健的理解是，这更接近于“排列层”的概念。
LangChain不好用
与LangChain相比，ReByte是一个较新的项目。
在此之前，蔡健在丰原资本工作了三年，他将一个分享文档的创业项目卖给了更快的汽车。今年年初，他走出斯坦福大学对面丰原资本的办公室，诞生于联合机器学习。之前曾在字节和微软工作过的Nemo Yang，从自己的创业团队里捞了几个人，组建了一个七人创业公司ReByte。
然后他们遇到了另一个志同道合的团队——他们在Github上登顶，拿到了5100星的RealChar。后者是一个不满足于ChatGPT背后生硬的AI-human交流方式，而是想用语音和视频来创造两者之间更自然的交流方式的项目。蔡健带着他的团队以CTO的身份进入RealChar，开始为RealChar的技术实现提供支持。
从LangChain、GPT-Index到ReByte，如果以“排列层”作为定义，这类项目是在大模型前期的基础模型竞赛浪潮之后，LLM与应用连接的具体步骤。
首先出现的是LangChain，类似于后来的GPT指数。一个有程序员思维的创业者，想做一个面向程序员的开源项目。蔡斯·夏里逊的想法天马行空，这让LangChain自然成了一个很极客的东西，有效又粗糙。在拿到投资的同时，LangChain也被很多人诟病学习和测试成本太高，甚至不如自己重新写一个。
ReByte字面意思是“重新定义写程序这件事”，这个项目最初启动的原因也很简单，LangChain不好用。
蔡健最初想用LangChain做一个与餐饮平台Yelp API对接的点餐系统，但最终因为调用太麻烦，调用成本太高而放弃。
这件事从LLM到LangChain目前都不太现实。一方面，高并发下重复请求严重。如果你只依赖于LangChain，你需要向OpenAI发送近30个请求才能得到一个API的响应。另一方面，LLM本质上是面向普通用户和自然语言的，并没有针对API调用的特殊设计。生成的API SPEC太长，从令牌数换算出来的成本将是一个天文数字。
“但这实际上不是LLM自己的问题，”蔡健说。
LLM的理解和推理能力可以完成一个目标任务的拆分，比如将一个大的目标拆分成多个任务，然后在这些步骤中找到优先级最高的任务，继续向下拆分，直到形成整个任务流。
“理论上，只要你给他一个目标，他就可以无限循环，然后在一个非常理想的情况下，他肯定能完成。”
但这种忽略时间尺度本身的“理想化”缺乏实际意义。要解决实际问题，需要在相对明确的时间范围内给出答案，并且在安全性和成本可控的情况下。
在LLM出现智能之前，所有的软件产品都需要软件工程师根据需求一行一行的编写，而人们所期待的人工智能，只要你清楚的描述你想做什么，就可以帮你解决所有的行业问题。
从现在的角度来看，之前的软件时代和人们对LLM未来成熟形态的期待，处于一个关于计算机的想象的两个极端。雷比特希望在中间取得一个妥协的位置。
这听起来和行业大模的概念差不多，这种能让LLM快速落地的万能钥匙几乎吸引了所有的大模公司。但也有一个实际的路线问题，是在应用层面还是在模型训练层面加入行业数据？
蔡健更倾向于前者，即大模型本身不需要了解行业知识，但应用需要行业知识。
“每个公司都在说我要做行业的大模型，不是因为他懂大模型，而是因为他懂行业。”
最后，只有调用LLM的成本足够低，才能变得实用。一种可能是，如果模型训练涉及的行业知识杂质太多，那么每次查询都会浪费更多的计算。从基本模型之外灌输知识可能是一种更灵活的方式。LLM本身需要高度的常识，也就是推理能力等抽象思维能力，但一个HR系统，一个医疗系统，一个修车手册，不应该是常识的一部分。
所以ReByte不改造LLM，而是想做一个连接LLM的低代码平台和一个注入数据的接口。
来源:ReByte官网
在ReByte的使用方式上，有两种工具:Copilot和Callables。前者可以直接使用，接入ChatGPT和Claude的底层模型能力，还引入了即时搜索和文档摘要的功能，甚至可以结合NBA这样的专用数据库做一个对话产品。但Copilot更像是ReByte对Callables的呈现。ReByte为用户提供了连接LLM的开发流程和工具，并提供了导入数据库的方式。
美国的SaaS市场相对完善。目前，ReByte已经与SaaS平台建立了联系，如idea、Google Drive、Slack和Discord。企业数据通过API接口访问后，RealChar将其矢量化，然后馈给工具生成自己的代理。
至于这个代理是叫Copilot还是别的什么应用，只是表达方式的区别。
技术退化及其成本
所有用过LangChain的开发者都不会否认，这个框架透露出一些技术狂热分子的自鸣得意，无形中铸造了很高的技术门槛。LLM本质上是一种技术降维。如果你有一个好的想法，并且清晰有效地解决了逻辑——比如乔布斯的天才想法遇上闲聊——LLM就可以成为一个任你差遣的全能打手。
ReByte和LangChain的出发点差异可能是前者更看好这项技术的降维，或者目前有更大的野心。
在ReByte最初的项目团队中，有两个人在美国做业务开发，在中国有一个经验丰富的四人开发团队，另一个员工来自印度。这个印度员工很年轻，编程能力很强，充满编程热情。自从他被招募以来，他一直负责团队中近一半的代码输出，但蔡健从未见过他。
这个印度开发者是ReByte团队无意中在GitHub上看到的一个好项目的拥有者，然后联系了他，很快就有了一个团队的新成员远程工作。这种拥有精英代码能力的开发者并不多见，但随着LLM的出现，未来开发者的定义可能会被彻底抛弃。
就像一个足够准确的提示可以在中途达到你想要的所有视觉效果一样，当LLM可以在编写代码的层面代替人类的时候，开发者的核心能力就变成了教会LLM如何编写代码，每一步的需求是什么。这更像是上面提到的一种“排列”能力，“排列”的水平最终考验的是从代码能力到更本质的逻辑能力和对场景的理解。
在这两个方面有优势的人，在软件时代可能会被具体的代码问题卡住，但未来可以依靠LLM写出完整的软件系统。
他们将成为新的应用程序开发者，微软首席执行官塞特亚·纳德拉预测这一新的开发者群体将有10亿人。在此之前，互联网创业的逻辑无非是在ToB和ToC之间做出选择，但随着未来开发者技术门槛的降低，这两条路线可能并不是LLM创业的唯一标准。开发者社区本身将成为一个巨大的市场。
ReByte的趋势是“致开发者”。甚至在未来，“排列层”的所有工具都将服务于这个群体。
这样的变化也导致了企业家的变化。李彦宏在文新发言时提前给“大模特创业没有机会”泼了一盆冷水。但是，随着开发者门槛的下降，更加狭隘的应用层创业可能只是大公司的一种让人放心的说辞。
现在不是回应一切的时候。
我们在很多事情上有相似的经历。比如Tik Tok一群人被烧光的“学者”，在被屏蔽之前，从来没有进入过另一群人的信息流；比如抱脸正在成为开源大模型的核心社区，但是大模型这个词对于大多数人来说还是比较陌生的。
人对自己的喜好越来越清晰，需求越来越细致。如果一个好的创意能在10多年前(或者更早)以iPhone为首的移动互联网形成的时候越做越大，然后变成像Meta、字节跳动这样的公司，现在越来越少了。
“技术门槛降低，同时一个开发者能做的事情其实非常有限。它非常小，非常具体，非常个性化。”
如果生成式AI真的能形成长期的技术浪潮，那么一个好的创意，围绕其创业的残酷背景，成为创业公司的难度更大。一个小应用只能解决一小部分人的问题。蔡健认为这是降低开发商门槛的代价。
“未来会出现越来越多分散的开发者。他们会在一些小领域做一些比较固定的东西，依靠一些特殊的数据或者行业诀窍，然后靠这个赚钱。这个时代已经不是呼唤一群人成为大公司的时代了。”
于是有价值的东西就沉到了一个更基础的地方——谁能给他工具去做这样的事情，而不是去做应用本身。
正如史蒂夫·乔布斯多年前所说:当海盗比加入海军更有趣。
"当海盗比加入海军好。""