TokenSkip是一个专为优化大语言模型推理过程而设计的工具，它通过智能地跳过冗余的推理步骤，压缩思维链路径，从而在保持推理准确性和效率的同时，显著降低训练和推理成本。
Verdict旨在通过扩展推理时计算，解决传统大型语言模型（LLM）评估中的不稳定性和可靠性问题。其核心价值在于提供更高效、更可靠的评估方法，帮助研究人员和开发者更好地理解和优化AI模型的性能。
一种称为LoLCATs的新方法，用于将现有的大型语言模型（如 Llama 和 Mistral）转换为具有亚quadratic时间复杂度的线性化版本，同时保持模型性能。
Llama 2 模型的优化版本，包含一系列解码器层，使用不同的投影大小和架构变化以提高效率。
收录了63个大语言模型(LLM)相关的面试问题及答案，针对2024年机器学习和数据科学面试提供系统化的准备资料。此项目涵盖了LLMs的基本原理、Transformer架构、注意力机制的详细讲解，以及预训练与微调的核心知识点，附带详细解答和代码示例，旨在帮助求职者全面掌握相关知识。
WilmerAI 是一个框架，可以路由到不同的LLM并协同多个LLM一起使用，以增强模型的能力并完成复杂任务。
one-small-step 是一个专注于技术学习的项目，旨在帮助用户每天进步一小步。项目涵盖多个前沿技术主题，如向量数据库、transformer架构、PCIe Retimer等，提供每日更新的学习内容、简洁易懂的讲解以及往期内容合集，适合不同层次的技术爱好者学习和参考。
xLSTM是由LSTM发明者创造的新架构，旨在实现与Transformer类似的规模和性能，同时缩小与现有最先进LLMs的差距。
FasterTransformer是一个旨在提高Transformer模型速度和效率的工具，支持多种架构如BERT和GPT，提供高性能的推理和训练，且易于集成。它支持FP16和INT8量化技术，能够在NVIDIA GPU上实现高效的模型推理和快速训练，适合在生产环境中部署优化后的模型。
