veridih
本站致力于IT相关技术的分享
构建结合 DynamoDB 与 SQL 的混合特征存储并通过 BentoML 提供实时服务 构建结合 DynamoDB 与 SQL 的混合特征存储并通过 BentoML 提供实时服务
我们的机器学习团队遇到了一个日益棘手的窘境：特征分裂。一部分特征是实时生成的，比如用户最后一次点击、当前会话时长，必须在10毫秒内可供模型调用；另一部分则是离线计算的批量特征，例如用户过去7天的平均购买金额、历史浏览品类分布，这些通过复杂的
2023-10-27 数据工程
MLOps Kanban DynamoDB SQL BentoML
使用 Ruby 从零构建基于 mTLS 的 Paxos 一致性模块 使用 Ruby 从零构建基于 mTLS 的 Paxos 一致性模块
我们面临一个棘手的部署场景：一组内部 Ruby 服务需要共享一个极小但要求强一致性的状态，例如一个动态的特性开关配置或一个服务的领导者信息。整个集群部署在零信任网络环境中，任何节点间的通信都必须被视为不安全。引入 etcd 或 ZooKee
2023-10-27 分布式系统
Paxos 算法 分布式一致性 Ruby mTLS
使用Podman构建一个面向Ray分布式任务的安全沙箱执行器 使用Podman构建一个面向Ray分布式任务的安全沙箱执行器
我们的共享Ray集群正迅速演变为一个安全盲区。最初，它是一个高效的计算平台，让数据科学家和算法工程师能够轻松地并行化他们的Python代码。但随着用户增多，我们面临一个棘手的问题：如何在不扼杀灵活性的前提下，安全地执行用户提交的任意代码？这
2023-10-27 后端架构
Ray Security Podman 测试 编程语言
在 Go Serverless 环境中通过 UDP 代理实现对 Memcached 的低延迟访问 在 Go Serverless 环境中通过 UDP 代理实现对 Memcached 的低延迟访问
在 Serverless 函数中直接与一个传统的、基于 TCP 长连接的服务（如 Memcached）交互，通常是一种反模式。让我们看一段在 AWS Lambda 中运行的 Go 代码，它尝试在每次调用时连接 Memcached。 pack
2023-10-27 后端架构
Serverless Go Memcached 性能优化 网络编程
为 LlamaIndex RAG 应用构建从 Recoil 前端到 Koa 后端的全链路追踪 为 LlamaIndex RAG 应用构建从 Recoil 前端到 Koa 后端的全链路追踪
一个 RAG 查询的响应耗时 5 秒。瓶颈在哪？是向量检索太慢，上下文构建耗时过长，还是 LLM 生成首个 token 的延迟太高？如果 RAG 管道对我们来说是个黑盒，那么优化就无从谈起。在真实项目中，任何无法被度量的东西都无法被有效管理
2023-10-27 可观测性
LlamaIndex Recoil Koa OpenTelemetry RAG
利用Chef、消息队列与MobX构建实时基础设施拓扑变更的可视化系统 利用Chef、消息队列与MobX构建实时基础设施拓扑变更的可视化系统
静态的CMDB（配置管理数据库）数据总是在我们最需要它的时候失效。当一次Chef-client变更导致级联故障时，翻阅数小时前的运行日志或是查看一份可能早已过时的架构图，对于定位问题几乎毫无帮助。真正的痛点在于，基础设施是动态的，而我们的监
2023-10-27 DevOps
MobX Chef Message Queue RabbitMQ Observability WebSocket
4 / 5