veridih
本站致力于IT相关技术的分享
开始阅读
构建事件驱动的实时机器学习特征服务 HBase索引设计与实践 构建事件驱动的实时机器学习特征服务 HBase索引设计与实践
一、问题的定义：毫秒级延迟下的实时特征挑战在构建一个在线预测服务时，我们面临的核心技术挑战是：如何在海量、高并发的用户行为事件流中，实时计算、存储并检索机器学习所需的特征，且整个特征获取（Feature Fetching）链路的 P99 延
2023-10-27 分布式架构
Scikit-learn HBase 事件驱动架构 (EDA) 索引优化 Vue.js MLOps
构建基于Serverless与Dgraph的响应式多租户权限系统及MobX前端实践 构建基于Serverless与Dgraph的响应式多租户权限系统及MobX前端实践
在任何一个SaaS产品中，多租户权限系统的设计都是绕不开的核心难题。传统的做法通常是在关系型数据库中使用大量的中间表来维护用户、角色、租户、权限之间的关系。这种模型在业务初期尚可应付，但随着权限维度的增加——例如引入项目组、资源标签等概念—
2023-10-27 后端架构
GraphQL 多租户 Serverless Dgraph MobX
构建基于Haskell核心的跨平台移动端安全推理引擎并集成MLflow管理 构建基于Haskell核心的跨平台移动端安全推理引擎并集成MLflow管理
在需要处理高度敏感数据（例如个人健康指标）的移动应用中，纯粹的端侧模型推理是保障用户隐私的首选。但一个更深层次的架构问题随之而来：如何保证推理过程本身是安全、可信且抗篡改的？即便模型和数据从未离开设备，在一个可能被root的设备上，推理引擎
2023-10-27 MLOps
Scikit-learn Mobile Development Haskell MLflow FFI
实现 Iceberg 数据湖变更到 SwiftUI 客户端的亚秒级事件通知架构 实现 Iceberg 数据湖变更到 SwiftUI 客户端的亚秒级事件通知架构
我们面临一个棘手的矛盾。业务分析团队依赖于一个存储着数十 PB 数据的 Apache Iceberg 数据湖。每隔几分钟，由 Ray 集群驱动的 ETL 作业就会向核心事实表中原子性地提交数 GB 的新数据。另一方面，运营团队需要一个能在
2023-10-27 数据工程
Ray Apache Iceberg Azure Service Bus SwiftUI
在 Azure 环境下基于 etcd Watch 机制构建 FastAPI 集群的分布式熔断器 在 Azure 环境下基于 etcd Watch 机制构建 FastAPI 集群的分布式熔断器
在 Azure 上部署由多个实例组成的 FastAPI 应用集群时，一个常见的挑战是下游服务的稳定性。如果一个关键的下游依赖项出现故障，传统的单实例熔断器无法阻止集群中的其他节点继续发起无效请求，最终导致“惊群效应”，加剧故障。一个节点熔断
2023-10-27 分布式架构
FastAPI Azure etcd 分布式系统 高可用
构建从 CockroachDB 到 Snowflake 的跨区域 CDC 数据管道架构 构建从 CockroachDB 到 Snowflake 的跨区域 CDC 数据管道架构
一个生产系统的核心挑战往往不在于功能的实现，而在于数据流动的可靠性与时效性。当业务要求对全球分布用户的实时交易进行分钟级分析时，系统架构的复杂度便会指数级上升。我们面临的正是这样一个场景：一个基于 Lit 构建的高性能前端应用，服务于全球用
2023-10-27 数据工程
Snowflake Lit CockroachDB CDC Kafka
1 / 5