动态硬件资源分配

vLLM是一个开源的高效语言大模型服务系统，专注于提升推理速度和效率。它通过创新的内存管理和调度技术，优化了键值缓存（KV cache）的动态增缩和碎片化问题，显著提高了吞吐量并降低了延迟。vLLM支持多种语言模型，适用于高吞吐量的深度学习任务和大规模语言模型的部署。其设计简洁，开源社区支持强大，文档友好，特别适合需要高效推理能力的项目。

Navan.ai是一个无代码平台，允许开发者和企业在几分钟内构建和部署计算机视觉AI模型，节省高达85%的开发时间和成本。用户可以通过nStudio快速构建模型，通过nCloud将模型部署到云端，并获得推理API。此外，用户还可以选择使用预训练的视觉AI模型，如人脸检测等。

TokenHawk是一个基于WebGPU的工具，旨在通过手写LLaMA模型进行高效的LLM推理，支持多种输入格式，并提供实时推理性能优化，适用于各种应用场景。

智能优化版Llama.cpp：基于原版Llama.cpp的克隆项目，它增加了最先进的量化技术，并针对CPU性能进行了改进，使得在处理大型语言模型时更加高效

本项目研究了大语言模型中的epoch次数设置问题，深入探讨训练epoch数量对模型性能的影响，以及在不同数据集上epoch数量的变化如何影响训练的充分性和效果。

Taylor AI 是一个高效的工具，旨在帮助用户在几分钟内微调开源大语言模型（如Llama2、Falcon等）。它让用户专注于实验和构建更好的模型，而不用花时间在繁琐的Python库上或跟进每一个开源LLM的更新。同时，用户拥有自己的模型，提升了数据安全性和控制权。

这个开源项目是一个生成式AI模型优化赛的参赛方案，获得了天池NVIDIA TensorRT Hackathon 2023初赛的第三名。该项目的功能涉及到开源、机器学习等领域。

Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具，将模型的权重、配置、提示等打包成自包含的文件，可以在任何地方运行。

Logos Shift 提供一个简单的方式来替换昂贵的LLM API调用，自动采用经过定制后的更小更快的模型，有效提升模型调用效率并简化管理流程。

深度求索发布的开源代码大模型，33B版的性能显着优于现有的开源代码LLM。该项目包含多个规模的代码语言模型，从10亿到330亿标记不等，经过预训练，使用16,000标记的窗口大小和额外的填空任务，支持项目级别的代码补全和填充，在多种编程语言和各种基准测试中取得最先进性能。

JupyterLab-TensorBoard-Pro是一个TensorBoard插件，为JupyterLab提供了更完善的功能。它能将TensorBoard整合到JupyterLab中，使用户能够更方便地在JupyterLab中使用TensorBoard。这是一个开源项目，用户可以自由使用。该插件专为机器学习任务设计，可以在JupyterLab中方便地进行机器学习相关的操作和监控。

Llama Stack 是一个开源项目，旨在将 LLM 应用构建生成周期的所有组件打包，包括训练、微调、产品评估、观测、Agent & Memory、合成数据生成等，并支持 9+ 提供商。

Composable Prompts是一个顶尖平台，旨在快速构建、测试和部署基于大型语言模型（LLMs）的任务和API。它为LLMs的世界带来了组合、模板、测试、缓存和可视化等功能，使开发者能够高效地创建强大的提示，重用它们，并在不同环境中进行测试。同时，它通过智能缓存优化性能和成本，并允许轻松切换模型和运行环境。

OpenAI Tools是一个综合工具包，旨在帮助用户充分利用他们的OpenAI账号。它提供了API使用情况跟踪、ChatGPT微调数据集管理、微调任务的创建、监控和取消、训练日志的审查和可视化、直接测试和比较微调及其他模型等功能。

大语言模型蒸馏的自动化管道，支持单教师和多教师模型的蒸馏，适用于指令和完成文本的蒸馏，支持离线蒸馏和跨平台操作，具备丰富的自定义选项

ORGANA是一个灵活且人性化的机器人系统，旨在通过自然语言与化学家进行交互，使用大型语言模型进行推理和规划，提供及时的报告和分析结果，具备3D视觉感知能力，能够准确操作实验对象和监控实验进展，同时通过并行执行实验提高实验效率。

LLMs-from-scratch 是一个资源库，提供构建大型语言模型（LLM）所需的实践经验和基础知识。该项目通过逐步指导、清晰的文字、图表和示例，帮助用户深入了解LLM的内部工作原理，并创建自己的LLM。内容包括文本数据处理、注意力机制实现、模型预训练与微调等，适合初学者和进阶用户。

EETQ是针对transformer模型的量化工具，使用Flash-Attention V2优化attention的推理性能，简单易用，只需一行代码即可适配您的PyTorch模型。