归档: 2023/10

2023

10

27

我们面临一个棘手的部署场景：一组内部 Ruby 服务需要共享一个极小但要求强一致性的状态，例如一个动态的特性开关配置或一个服务的领导者信息。整个集群部署在零信任网络环境中，任何节点间的通信都必须被视为不安全。引入 etcd 或 ZooKee

2023-10-27 分布式系统

Paxos 算法分布式一致性 Ruby mTLS

27

问题的起点非常明确：我们需要为一套在线风控与推荐模型提供特征服务。业务需求对这套服务的延迟提出了极为苛刻的要求——P99响应必须在50毫秒以内。同时，模型需要两类截然不同的特征：一类是实时性极高的“在线特征”，例如用户在当前会话中的点击次数

2023-10-27 数据工程与存储

Redis Streams MongoDB ClickHouse API 设计框架与工具

27

我们的共享Ray集群正迅速演变为一个安全盲区。最初，它是一个高效的计算平台，让数据科学家和算法工程师能够轻松地并行化他们的Python代码。但随着用户增多，我们面临一个棘手的问题：如何在不扼杀灵活性的前提下，安全地执行用户提交的任意代码？这

2023-10-27 后端架构

Ray Security Podman 测试编程语言

27

我们的机器学习团队遇到了一个日益棘手的窘境：特征分裂。一部分特征是实时生成的，比如用户最后一次点击、当前会话时长，必须在10毫秒内可供模型调用；另一部分则是离线计算的批量特征，例如用户过去7天的平均购买金额、历史浏览品类分布，这些通过复杂的

2023-10-27 数据工程

MLOps Kanban DynamoDB SQL BentoML

27

在 Serverless 函数中直接与一个传统的、基于 TCP 长连接的服务（如 Memcached）交互，通常是一种反模式。让我们看一段在 AWS Lambda 中运行的 Go 代码，它尝试在每次调用时连接 Memcached。 pack

2023-10-27 后端架构

Serverless Go Memcached 性能优化网络编程

27

一个 RAG 查询的响应耗时 5 秒。瓶颈在哪？是向量检索太慢，上下文构建耗时过长，还是 LLM 生成首个 token 的延迟太高？如果 RAG 管道对我们来说是个黑盒，那么优化就无从谈起。在真实项目中，任何无法被度量的东西都无法被有效管理

2023-10-27 可观测性

LlamaIndex Recoil Koa OpenTelemetry RAG