激光网
当前位置: 首页 > 云计算 > 正文

谷歌跨云储存引擎BigLake更新 可用于简单开发事件驱动应用

2023-09-05 16:38:39  来源:激光网原创    

  谷歌去年发布的全托管低延迟NoSQL数据库BigLake,迎来了几项重要更新,包括可用于构建事件驱动应用程序的更改串流,还通过在混合交易和分析处理加入优先等级,避免资源争夺,而用户现在也可以不需使用ETL,就直接将BigQuery数据导出至Bigtable。

  BigLake作为统一储存引擎,能够跨不同云和格式,提供精细度一致的储存控制,解决企业在不同环境以多种数据格式储存数据,造成数据孤岛的问题。

  BigLake推出新的更改串流功能,用户能够追踪Bigtable变更,并且和其他系统整合,官方举例,Bigtable的数据变更可以复制到BigQuery中进行分析,又或是复制到ElasticSearch执行全文搜寻,甚至复制到其他数据库中以支持多云和混合云架构。 透过消息传递服务Pub/Sub和无服务器服务Cloud Functions,就能够触发下游操作,甚至是整合Vertex AI建立机器学习驱动应用。

  更改串流可以让零售商更简单地监控产品目录变化,随时监控产品的定价和可用性,并且触发应用内或是电子邮件通知,提醒客户商品状态变更。 银行应用也可以利用更改流流,将上传的文件交付给Cloud Vision人工智能,以解析其内容。

  另外,过去在分析营运数据的应用上,企业常会担心资源竞争的问题,当分析操作消耗过多的资源,可能破坏具延迟敏感性的工作负载,部分团队需要创建额外的执行个体,专门执行批次分析任务,又或是在低流量时刻进行操作,但这些方法可能产生额外成本或是管理工作。

  而Bigtable新的请求优先等级功能,则可以解决这个问题,当用户在执行较不具时效性的大型工作负载,像是分析查询和批次写入,便能够将其设为低优先等级,Bigtable便会选择优先处理高时效性的查询作业,进而减少批次处理对系统的影响。

  常用的Bigtable数据访问路径,诸如BigQuery联合、Dataflow和Spark连接器,也都支持请求优先等级,分析师、数据工程师和数据科学家都能够操作数据,Bigtable将会依优先等级排序工作,降低批次数据加载或是模型训练对整体系统效能的影响。

  BigQuery现在也可以直接将数据导出到Bigtable,过去将数据移入营运数据库需要经过复杂的ETL工作管线,而Bigtable更新后开发者能够自助,将数据从数据仓储移动到营运数据库。 此外,Bigtable的另一项重要更新是能够与 HBase 双向复制,通过Bigtable所提供 Apache HBase 兼容 API,还有通用的宽字段数据库结构,能够简单地实践双向复制,使用户建构多云或是混合云部署。

免责声明: 激光网遵守行业规则,本站所转载的稿件都标注作者和来源。 激光网原创文章,请转载时务必注明文章作者和来源“激光网”, 不尊重本站原创的行为将受到激光网的追责,转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:133 467 34 45@qq.com

榜单