veridih
本站致力于IT相关技术的分享
  文章分类
DevOps 3 分布式系统 4 后端架构 5 架构设计 2 MLOps 1 安全架构 1 云原生 2 数据工程与存储 2 分布式架构 3 数据工程 3 可观测性 2 移动开发 1 前端架构 1
实现 Iceberg 数据湖变更到 SwiftUI 客户端的亚秒级事件通知架构 实现 Iceberg 数据湖变更到 SwiftUI 客户端的亚秒级事件通知架构
我们面临一个棘手的矛盾。业务分析团队依赖于一个存储着数十 PB 数据的 Apache Iceberg 数据湖。每隔几分钟，由 Ray 集群驱动的 ETL 作业就会向核心事实表中原子性地提交数 GB 的新数据。另一方面，运营团队需要一个能在
2023-10-27 数据工程
Ray Apache Iceberg Azure Service Bus SwiftUI
构建从 CockroachDB 到 Snowflake 的跨区域 CDC 数据管道架构 构建从 CockroachDB 到 Snowflake 的跨区域 CDC 数据管道架构
一个生产系统的核心挑战往往不在于功能的实现，而在于数据流动的可靠性与时效性。当业务要求对全球分布用户的实时交易进行分钟级分析时，系统架构的复杂度便会指数级上升。我们面临的正是这样一个场景：一个基于 Lit 构建的高性能前端应用，服务于全球用
2023-10-27 数据工程
Snowflake Lit CockroachDB CDC Kafka
构建结合 DynamoDB 与 SQL 的混合特征存储并通过 BentoML 提供实时服务 构建结合 DynamoDB 与 SQL 的混合特征存储并通过 BentoML 提供实时服务
我们的机器学习团队遇到了一个日益棘手的窘境：特征分裂。一部分特征是实时生成的，比如用户最后一次点击、当前会话时长，必须在10毫秒内可供模型调用；另一部分则是离线计算的批量特征，例如用户过去7天的平均购买金额、历史浏览品类分布，这些通过复杂的
2023-10-27 数据工程
MLOps Kanban DynamoDB SQL BentoML