归档 | veridih

2023

10

27

一、问题的定义：毫秒级延迟下的实时特征挑战在构建一个在线预测服务时，我们面临的核心技术挑战是：如何在海量、高并发的用户行为事件流中，实时计算、存储并检索机器学习所需的特征，且整个特征获取（Feature Fetching）链路的 P99 延

2023-10-27 分布式架构

Scikit-learn HBase 事件驱动架构 (EDA) 索引优化 Vue.js MLOps

27

在任何一个SaaS产品中，多租户权限系统的设计都是绕不开的核心难题。传统的做法通常是在关系型数据库中使用大量的中间表来维护用户、角色、租户、权限之间的关系。这种模型在业务初期尚可应付，但随着权限维度的增加——例如引入项目组、资源标签等概念—

2023-10-27 后端架构

GraphQL 多租户 Serverless Dgraph MobX

27

在需要处理高度敏感数据（例如个人健康指标）的移动应用中，纯粹的端侧模型推理是保障用户隐私的首选。但一个更深层次的架构问题随之而来：如何保证推理过程本身是安全、可信且抗篡改的？即便模型和数据从未离开设备，在一个可能被root的设备上，推理引擎

2023-10-27 MLOps

Scikit-learn Mobile Development Haskell MLflow FFI

27

我们面临一个棘手的矛盾。业务分析团队依赖于一个存储着数十 PB 数据的 Apache Iceberg 数据湖。每隔几分钟，由 Ray 集群驱动的 ETL 作业就会向核心事实表中原子性地提交数 GB 的新数据。另一方面，运营团队需要一个能在

2023-10-27 数据工程

Ray Apache Iceberg Azure Service Bus SwiftUI

27

在 Azure 上部署由多个实例组成的 FastAPI 应用集群时，一个常见的挑战是下游服务的稳定性。如果一个关键的下游依赖项出现故障，传统的单实例熔断器无法阻止集群中的其他节点继续发起无效请求，最终导致“惊群效应”，加剧故障。一个节点熔断

2023-10-27 分布式架构

FastAPI Azure etcd 分布式系统高可用

27

一个生产系统的核心挑战往往不在于功能的实现，而在于数据流动的可靠性与时效性。当业务要求对全球分布用户的实时交易进行分钟级分析时，系统架构的复杂度便会指数级上升。我们面临的正是这样一个场景：一个基于 Lit 构建的高性能前端应用，服务于全球用

2023-10-27 数据工程

Snowflake Lit CockroachDB CDC Kafka