2024-03-26

Grass:有史以来第一个第 2 层数据汇总

作者 万有引力
Grass:有史以来第一个第 2 层数据汇总

在过去的几周里,我们一直在发布内容来解释 Grass 在 AI 堆栈中的作用。正如您现在所知,该协议执行许多功能,帮助构建者访问网络数据来训练他们的模型。这是人工智能管道的关键第一阶段,也是所有开发的起点。  

在 Grass 的例子中,世界各地的住宅设备托管着一个节点网络,用于从网络上抓取和处理原始数据。它将这些数据清理并转换为结构化数据集,以用于人工智能训练。最重要的是,它以一种涉及并奖励全球近百万人参与的方式获取网络数据。它一手创建了人工智能数据供应类别,这也是世界上一些最大的人工智能公司选择与我们合作的原因。它是人工智能的数据层

与此同时,过去几周我们也反思了人工智能的现状。我们问自己它面临的最紧迫的问题,以及作为人工智能基础设施的重要组成部分,我们可以采取哪些措施来解决这些问题。  

我们的结论是,目前人工智能最大的问题是缺乏数据透明度。一看新闻就知道原因了。问问自己,为什么人工智能模型会将埃隆·马斯克与希特勒等同起来?  或者从世界历史中抹去整个民族?是否使用不良数据进行训练?或者更糟糕的是,选择性地选择好的数据来给出错误的答案?

答案是,我们不知道。我们不知道,因为没有办法知道。我们不知道这些模型是根据什么数据进行训练的,因为不存在证明它的机制。用户无法验证数据来源,因为构建者无法自行验证。

这就是 Grass 计划解决的问题,我们现在正在构建第 2 层数据汇总来解决它。你可能会问,怎么样?

请允许我们解释一下。 

第二层如何建立数据来源 

世界需要一种方法来证明人工智能训练数据的来源,这就是 Grass 现在正在构建的方法。很快,每次 Grass 节点抓取数据时,都会记录元数据以验证抓取数据的网站。然后,该元数据将永久嵌入到每个数据集中,使构建者能够完全确定地了解其来源。然后,他们可以与用户分享这一血统,用户可以放心地知道与他们交互的人工智能模型没有经过刻意训练来给出误导性的答案。  

这将是一个巨大的提升,并且涉及我们协议的重大扩展,因为我们准备抓取操作以达到每分钟数千万个网络请求。其中每一个都需要进行验证,这将需要比任何 L1 所能提供的更多的吞吐量。这就是为什么我们宣布计划构建第 2 层解决方案来处理我们能力的重大升级。L2 将是一个主权汇总,具有 ZK 处理器,以便可以对元数据进行批处理以进行验证,并用于为我们生成的每个数据集提供持久的沿袭。这是所有人工智能开发的基础层进入下一阶段所需要的。  

这样做的好处很多:它将对抗数据中毒,增强开源人工智能的能力,并为用户了解我们每天交互的模型创建一条途径。 

下面,我们将描述该系统的基本设计。

草的建筑

了解这些升级的最简单方法是查阅草地数据汇总图。在左侧,在客户端和 Web 服务器之间,您可以看到传统上定义的 Grass 网络。客户端发出 Web 请求,这些请求通过验证器发送并最终通过 Grass 节点进行路由。无论客户端请求哪个网站,其服务器都会响应网络请求,允许抓取其数据并将其发送回线路。然后,它将被清理、处理并准备用于训练下一代人工智能模型。  

回到 L2 图,您会在右侧看到伴随 Grass 主权第二层发布的两个主要新增内容:Grass 数据账本和 ZK 处理器。  

每一个都有其自己的功能,因此我们将一次一一解释它们。 

草地数据分类账 

草数据账本是所有数据最终存储的地方。它是 Grass 上抓取的每个数据集的永久分类账,现在嵌入了元数据,以记录其从起源时刻起的沿袭。每个数据集元数据的证明将存储在 Solana 的结算层上,并且结算数据本身也将通过分类账提供。重要的是要注意 Grass 有一个地方来存储它抓取的数据的重要性,尽管我们很快就会谈到这一点。  

ZK 处理器

如上所述,ZK 处理器的目的是协助记录在 Grass 网络上抓取的数据集的来源。想象一下这个过程。

当网络上的节点(换句话说,具有 Grass 扩展的用户)向给定网站发送 Web 请求时,它会返回一个加密响应,其中包括该节点请求的所有数据。出于所有意图和目的,这就是我们的数据集诞生的时刻,也是需要记录的起源时刻。  

这正是记录我们的元数据时捕捉到的时刻。它包含许多字段——会话密钥、抓取的网站的 URL、目标网站的 IP 地址、交易的时间戳,当然还有数据本身。这是毫无疑问地知道给定数据集源自其声称的网站所必需的所有信息,因此给定的人工智能模型经过了正确且忠实的训练。  

ZK 处理器参与其中,因为这些数据需要在链上结算,但我们不希望 Solana 验证者看到所有数据。此外,有一天将在 Grass 上执行的大量 Web 请求将不可避免地压垮任何 L1 的吞吐量 - 即使是像 Solana 这样强大的 L1。Grass 很快就会扩展到每分钟执行数千万个网络请求的程度,并且每个请求的元数据都需要在链上解决。如果没有 ZK 处理器首先进行证明和批处理,就不可能将这些交易提交到 L1。因此,L2 - 实现我们计划要做的事情的唯一可能的方法。    

现在,为什么这有这么大的事呢?

第二层好处 

数据分类账 

数据账本非常重要,因为它将 Grass 的扩张升级为一种额外的、根本不同的商业模式。虽然该协议将继续审查发送自己的网络请求并在网络上抓取自己的数据的买家,但其越来越多的活动将涉及已经存储在分类账上的数据。借助此功能,Grass 现在可以收集战略性策划的数据以供 LLM 培训使用,并将其托管在不断扩大的数据存储库中。   

该存储库是模块化人工智能堆栈的数据层,构建者可以从中挑选组成部分来训练无限差异化的模型。它是互联网本身的一个缩影,提供已经结构化并可供人工智能摄取的训练数据。  

ZK 处理器 

我们已经详细介绍了 ZK 处理器的重要性。通过使我们能够创建记录 Grass 数据集起源的元数据证明,它为构建者和用户创建了一种机制,以验证 AI 模型实际上是否经过正确训练。这本身就是一件大事。 

然而,有一件我们之前没有提到的事情。  

除了记录数据集源自的网站之外,元数据还指示数据集路由通过网络上的哪个节点。值得注意的是,这意味着每当节点抓取网络时,他们都可以获得其工作的荣誉,而无需透露任何有关自己的身份信息。  

现在,为什么这很重要?

这很重要,因为一旦您可以证明哪些节点完成了哪些工作,您就可以开始按比例奖励它们。有些节点比其他节点更有价值。有些人比同行抓取更多的数据。这些正是我们需要激励的节点,以继续我们在过去几个月中看到的网络的惊人扩展。我们相信,这种机制将显着提高全球需求量最大的地区的奖励,最终鼓励这些地区的人们注册并成倍增加网络的容量。  

不言而喻,网络越大,我们需要抓取的容量就越大,我们存储的网络数据存储库也就越大。飞轮将不可避免地产生,更多的数据意味着我们将有更多的数据为需要训练数据的人工智能实验室提供——从而为网络的持续增长提供动力。  

结论

总而言之,当今人工智能的大多数引人注目的问题都源于缺乏对模型训练方式的了解,我们相信可以通过为开源人工智能提供验证数据来源的系统来解决这个问题。我们的解决方案是构建第一个第 2 层数据汇总,这将使得引入一种记录元数据的机制成为可能,该元数据记录了所有数据集的来源。  

该数据的 ZK 证明将存储在 L1 结算层上,元数据本身最终将与其底层数据集绑定在一起,因为这些数据集本身存储在我们自己的数据账本上。Grass 为模块化人工智能堆栈提供数据层,这些发展将为提高节点提供商的透明度和奖励奠定基础,奖励与节点提供商执行的工作量成正比。  

此更新应有助于传达我们即将开展的一些项目,并澄清推动我们决策的思维。我们很高兴能够在使人工智能更加透明方面发挥作用,并很高兴看到我们的产品未来将出现许多用例。这些升级将为开发者带来广泛的机会,因此,如果您或您的团队有兴趣在 Grass 上进行构建,请联系Discord感谢您的支持,敬请关注。  

原文 https://www.getgrass.io/blog/grass-the-first-ever-layer-2-data-rollup