veridih
本站致力于IT相关技术的分享
  文章分类
DevOps 3 分布式系统 4 后端架构 5 架构设计 2 MLOps 1 安全架构 1 云原生 2 数据工程与存储 2 分布式架构 3 数据工程 3 可观测性 2 移动开发 1 前端架构 1
构建事件驱动的实时机器学习特征服务 HBase索引设计与实践 构建事件驱动的实时机器学习特征服务 HBase索引设计与实践
一、问题的定义：毫秒级延迟下的实时特征挑战在构建一个在线预测服务时，我们面临的核心技术挑战是：如何在海量、高并发的用户行为事件流中，实时计算、存储并检索机器学习所需的特征，且整个特征获取（Feature Fetching）链路的 P99 延
2023-10-27 分布式架构
Scikit-learn HBase 事件驱动架构 (EDA) 索引优化 Vue.js MLOps
在 Azure 环境下基于 etcd Watch 机制构建 FastAPI 集群的分布式熔断器 在 Azure 环境下基于 etcd Watch 机制构建 FastAPI 集群的分布式熔断器
在 Azure 上部署由多个实例组成的 FastAPI 应用集群时，一个常见的挑战是下游服务的稳定性。如果一个关键的下游依赖项出现故障，传统的单实例熔断器无法阻止集群中的其他节点继续发起无效请求，最终导致“惊群效应”，加剧故障。一个节点熔断
2023-10-27 分布式架构
FastAPI Azure etcd 分布式系统 高可用
基于 NATS JetStream 与分布式锁实现 TensorFlow GPU 资源序列化推理 基于 NATS JetStream 与分布式锁实现 TensorFlow GPU 资源序列化推理
在处理一个大型 TensorFlow 模型时，我们遇到了一个棘手的资源竞争问题。该模型需要加载到 GPU 显存中执行推理，单次推理会占用接近 90% 的显存。在我们的架构中，API 请求通过 Tyk 网关路由到后端的推理服务。最初的设计是无
2023-10-27 分布式架构
NATS TensorFlow 分布式锁 Tyk