veridih
本站致力于IT相关技术的分享
使用 Ruby 从零构建基于 mTLS 的 Paxos 一致性模块 使用 Ruby 从零构建基于 mTLS 的 Paxos 一致性模块
我们面临一个棘手的部署场景：一组内部 Ruby 服务需要共享一个极小但要求强一致性的状态，例如一个动态的特性开关配置或一个服务的领导者信息。整个集群部署在零信任网络环境中，任何节点间的通信都必须被视为不安全。引入 etcd 或 ZooKee
2023-10-27 分布式系统
Paxos 算法 分布式一致性 Ruby mTLS
构建服务于低延迟AI的混合存储特征管道：Redis Streams, MongoDB与ClickHouse的架构权衡 构建服务于低延迟AI的混合存储特征管道：Redis Streams, MongoDB与ClickHouse的架构权衡
问题的起点非常明确：我们需要为一套在线风控与推荐模型提供特征服务。业务需求对这套服务的延迟提出了极为苛刻的要求——P99响应必须在50毫秒以内。同时，模型需要两类截然不同的特征：一类是实时性极高的“在线特征”，例如用户在当前会话中的点击次数
2023-10-27 数据工程与存储
Redis Streams MongoDB ClickHouse API 设计 框架与工具
使用Podman构建一个面向Ray分布式任务的安全沙箱执行器 使用Podman构建一个面向Ray分布式任务的安全沙箱执行器
我们的共享Ray集群正迅速演变为一个安全盲区。最初，它是一个高效的计算平台，让数据科学家和算法工程师能够轻松地并行化他们的Python代码。但随着用户增多，我们面临一个棘手的问题：如何在不扼杀灵活性的前提下，安全地执行用户提交的任意代码？这
2023-10-27 后端架构
Ray Security Podman 测试 编程语言
构建结合 DynamoDB 与 SQL 的混合特征存储并通过 BentoML 提供实时服务 构建结合 DynamoDB 与 SQL 的混合特征存储并通过 BentoML 提供实时服务
我们的机器学习团队遇到了一个日益棘手的窘境：特征分裂。一部分特征是实时生成的，比如用户最后一次点击、当前会话时长，必须在10毫秒内可供模型调用；另一部分则是离线计算的批量特征，例如用户过去7天的平均购买金额、历史浏览品类分布，这些通过复杂的
2023-10-27 数据工程
MLOps Kanban DynamoDB SQL BentoML
在 Go Serverless 环境中通过 UDP 代理实现对 Memcached 的低延迟访问 在 Go Serverless 环境中通过 UDP 代理实现对 Memcached 的低延迟访问
在 Serverless 函数中直接与一个传统的、基于 TCP 长连接的服务（如 Memcached）交互，通常是一种反模式。让我们看一段在 AWS Lambda 中运行的 Go 代码，它尝试在每次调用时连接 Memcached。 pack
2023-10-27 后端架构
Serverless Go Memcached 性能优化 网络编程
为 LlamaIndex RAG 应用构建从 Recoil 前端到 Koa 后端的全链路追踪 为 LlamaIndex RAG 应用构建从 Recoil 前端到 Koa 后端的全链路追踪
一个 RAG 查询的响应耗时 5 秒。瓶颈在哪？是向量检索太慢，上下文构建耗时过长，还是 LLM 生成首个 token 的延迟太高？如果 RAG 管道对我们来说是个黑盒，那么优化就无从谈起。在真实项目中，任何无法被度量的东西都无法被有效管理
2023-10-27 可观测性
LlamaIndex Recoil Koa OpenTelemetry RAG
4 / 5