CoralRing开源项目 – 超低延迟的Java进程间通信框架

一个超低延迟的Java进程间通信框架，基于环形队列实现，具有无锁、无垃圾回收、批处理和并发特性。
CoralRing的特点:
1. 超低延迟的进程间通信
2. 基于环形队列实现
3. 无锁机制
4. 无垃圾回收
5. 支持批处理
6. 支持阻塞和非阻塞模式
7. 使用内存映射文件实现跨JVM的共享内存通信
8. 支持广播和多播模式

CoralRing的功能:
1. 构建高性能的进程间通信系统
2. 实现跨JVM的共享内存通信
3. 在高并发环境中使用
4. 使用volatile操作进行内存屏障

相关导航

Efficient LLM inference solution on Intel GPU-基于Intel GPU的高效LLM推理

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

Dynobase官网 – 专业的DynamoDB图形界面客户端

Dynobase是一个加速DynamoDB工作流程的工具，提供了流畅的管理界面、可视化查询构建器、代码生成等功能，旨在简化数据管理和查询操作。

MMIE开源项目 – 针对视觉语言模型的多模态理解基准

大型视觉语言模型的海量多模态交叉理解基准测试，旨在评估模型在不同领域中的理解与生成能力，支持自动化的可靠度量。

Advanced Literate Machinery开源项目 – 高级文档智能系统

Advanced Literate Machinery (ALM) 是阿里巴巴研究团队开发的一个高级文档智能系统，旨在赋予机器阅读、思考和创造的能力。项目当前专注于从图像和文档中提取信息，未来将探索让机器具备更高层次的智能。项目包含多个子模块，如OmniParser、Platypus、SceneVTG等，涵盖了文本识别、关键信息提取、表格识别、文档解析等多种功能。

rsc-regexp开源项目 – C 程序转 Rust 的工具

rsc-regexp 是一个将简单 C 程序转换为 Rust 代码的项目，支持正则表达式并提供高效的匹配算法，易于集成和使用。

百聆开源项目 – 开源语音对话助手

百聆是一个开源的语音对话助手，结合了语音识别 (ASR)、语音活动检测 (VAD)、大语言模型 (LLM) 和语音合成 (TTS) 技术，旨在通过语音与用户进行自然的对话。该项目可以在无需GPU的情况下实现类GPT-4o的对话效果，适用于各种边缘设备和低资源环境。百聆具有高效开源模型、模块化设计、支持记忆功能、工具调用和任务管理等特点，提供高质量的语音对话体验，端到端时延800ms。

AI对话热力图生成器开源项目 – 生成AI对话频率热力图

该项目是一个生成AI对话热力图的脚本，可以帮助用户查看与AI对话的频率，提供了便捷的可视化方式，支持多种数据输入，便于用户理解和分析对话行为。

ScaleLLM开源项目 – 大型语言模型推理系统

ScaleLLM是一个面向大型语言模型高性能推理的系统，经过仔细设计，能够满足产业级环境的需求。

GPT Router开源项目 – 通用的LLM API网关

GPT Router是一个开源的LLM API网关，提供超过30个LLM、视觉和图像模型的通用API，具备基于可用性和延迟的智能回退、自动重试和流式传输功能，即使在OpenAI宕机时也能保持操作。

UniPortrait开源项目 – 人像图像个性化统一框架

UniPortrait是由阿里巴巴集团研究团队开发的一个创新性人像图像个性化框架。该框架能够统一处理单人和多人图像的个性化生成，确保在复杂场景中的身份一致性，并支持高保真度的身份保持和广泛的面部可编辑性。它无需预定义布局，支持自由文本描述，适用于多种应用场景。

Pretty Jupyter开源项目 – 创建美观的动态HTML报告

Pretty Jupyter 是一个工具，可以将 Jupyter Notebook 转换为美观的动态 HTML 报告，用户可以选择是否显示代码，支持多种格式，易于定制和扩展。

Comcast开源项目 – 模拟糟糕网络连接以优化系统

Comcast是一种用于模拟常见网络问题的工具，包括延迟、带宽限制和丢弃/重新排序/损坏的数据包，旨在测试分布式系统的稳定性。它能够帮助开发者识别和修复应用程序在不良网络环境下的潜在问题，从而提升系统的鲁棒性。

HunyuanVideo-I2V开源项目 – 腾讯混元图生视频模型

HunyuanVideo-I2V 是腾讯混元团队最新发布并开源的图像转视频生成框架，基于多模态大语言模型（MLLM），利用预训练的解码器结构模型作为文本编码器，增强对输入图像语义内容的理解能力，并将图像生成的语义标记与视频潜在标记相结合，以实现更全面的跨模态全注意力计算。该模型适用于多种类型的角色和场景，包括写实视频制作、动漫角色甚至 CGI 角色制作的生成，支持高清视频生成和定制化特效，并上线对口型与动作驱动等玩法。

Instella开源项目 – AMD开源高性能语言模型

Instella是AMD推出的开源高性能语言模型，旨在为开源AI研究和应用提供强大支持。该项目基于AMD Instinct™ MI300X GPU进行训练，充分利用硬件优势，提供卓越的性能和完全开源的模型权重、训练代码及数据。

Simple CSC开源项目 – 一款高效的中文拼写纠错工具

Simple CSC是一款基于大型语言模型的中文拼写纠错工具，用户无需进行训练或提示，便可轻松高效地检测和纠正拼写错误。