为Rust语言打造的线性代数基础库,旨在提供一个功能全面、便于使用的线性代数解决方案,助力Rust开发者更高效地进行相关计算和开发
该项目旨在使用Rust语言在CPU上运行大型语言模型的推理。它不仅实现了快速的推理速度,还能在低能耗的情况下提供高效的性能。适用于本地推理和Rust项目集成,适合研究新语言模型应用。
这是一个精心策划的Rust工具、库和框架列表,旨在帮助开发者在大型语言模型(LLM)、GPT和人工智能(AI)领域进行工作。该项目提供了全面的Rust库集合,专为LLM和AI开发而设计,注重性能和效率,并且定期更新新工具和资源。
Goat是一个经过微调的LLaMA模型,专注于数学运算,特别是在算术任务上表现优于GPT-4。它在大数加法和减法上达到了近乎完美的准确性,并通过监督微调提升了算术任务的性能,适合在24GB VRAM GPU上使用LoRA进行训练。
tonic 是一个 gRPC over HTTP/2 实现,专注于高性能、互操作性和灵活性。它使用 Rust 编写,适合用于生产系统,提供对 async/await 的一流支持。
基于PyTorch的易于使用的增强学习框架,通过Lightning Fabric加速。该框架旨在提供一个简单且可扩展的强化学习算法框架,同时解耦强化学习算法与环境,使其能与任何环境一起使用。