查询优化不一定是新的。在云中识别和控制查询费用的成本治理也不是什么新鲜事。然而，新的是Bluesky，一家基于云的工作负载优化供应商，专注于Snowflake，本月早些时候推出，旨在帮助组织实现这些目标。
该公司方法的关键要素之一是“我们自己创建的算法，基于我们过去15年在谷歌，优步等调整工作负载的经验，”Bluesky首席执行官洪明生说。
Hong是Google机器学习运行时功能的前工程主管，他与TensorFlow进行了广泛的合作。Bluesky由Hong和首席技术官Zheng Shao共同创立，郑绍是Uber的前杰出工程师，专门从事大数据架构和降低成本。
Hong引用的算法主要在云设置中大规模分析查询，并确定如何优化其工作负载，从而降低成本。“单个查询很少有商业价值，”Hong观察到。“这是它们的组合，共同实现某些业务目标，例如转换数据和提供业务见解。
特别有趣的是，Bluesky将统计和符号人工智能（AI）方法结合起来完成这项任务，切实表明它们的融合可能会影响AI在企业中的未来。
查询的成本治理
Bluesky 可以通过多种方式优化专用于查询流行云源的时间和资源量来加强成本治理。该解决方案可以通过增量具体化来抑制查询冗余，这是一个有用的功能，用于以设定的增量（如每小时、每天或每周）重复查询。
根据Hong的说法，例如，在分析每月收入数据时，此功能使系统能够“实现先前的计算，仅计算增量部分”或自上次计算以来的增量。大规模应用此功能时，可以节省大量财政和 IT 资源。
优化建议
Bluesky 提供了对查询模式及其使用情况的详细可见性。Hong说，该解决方案提供了最昂贵的查询模式的持续列表，以及其他“向人们展示他们花了多少钱”的技术。“我们将其分解为个人用户、团队、项目、呼叫中心等，因此每个人都知道其他人花了多少钱。
Bluesky 整合了涉及统计和非统计 AI 方法的算法，用于配置文件驱动的查询成本归因。查询配置文件基于特定查询所需的时间、CPU 和内存量。算法利用此信息，通过修改查询代码、数据布局等的优化建议，减少查询中此类资源的使用。“优化不仅仅是计算，”洪指出。“此外，我们组织存储：表格索引，如何布置表格，然后是仓库设置和系统设置，我们进行调整。
规则和监督式机器学习
值得注意的是，提供此类建议和分析洪提到的因素的算法涉及基于规则的方法和机器学习。因此，他们将人工智能的经典知识表示基础与其统计基础相结合。对于自然语言技术，这种串联（称为神经符号AI）有很多用例。Gartner提到将这两种形式的AI作为更广泛的复合AI运动的一部分。根据Hong的说法，规则非常适合查询优化。
“这就像从规则开始的查询优化，然后用成本模型丰富它们，”他反映道。“在某些情况下，尝试运行过滤器总是一个好主意。所以这是一个很好的规则。要消除全表扫描，这总是好的。这是规矩。
在基于成本条件或成本模型实施规则时，将添加监督学习。例如，消除投资回报率低的查询是一个有用的规则。监督学习技术可以通过仔细检查过去一周的查询来确定哪些查询符合此分类，例如，在通过规则消除它们之前。“如果查询在过去七天内失败的时间超过 98%，您可以将这样的查询模式放入惩罚框中，”Hong评论道。
控制成本
降低企业成本的需求，特别是当它们适用于多云和混合云设置时，在未来几年肯定会增加。优化查询的成本治理和工作负载优化方法有助于了解成本增加的位置以及如何降低成本。依靠使用统计和非统计AI来识别这些领域的自动化，同时提供纠正这些问题的建议，可能是企业AI走向的预兆。
椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/3539.html
文章评论