分享一份精选机器学习系统的入门资料集合,收集了一系列有关注意力机制、性能优化、量化、长上下文长度和稀疏性等方面的论文、视频和代码库。
LETSQL专注于人工智能管道预处理的延迟计算系统,通过跨引擎缓存和静态规划来优化性能,支持从研究到生产环境的无缝过渡,并提供便携式用户自定义函数。
这是一个自动化机器学习系统,利用O1和Claude AI模型迭代开发、改进和优化机器学习解决方案,在Kaggle Spaceship Titanic挑战中实现了前1%的性能。
用大型语言模型重新思考自动驾驶,使用GPT-3.5作为默认的大型语言模型(LLM),介绍了LLM在驾驶场景中的闭环交互能力以及通过记忆能提升性能的方法
GPT Core用于创建和训练先进的大型语言模型(LLM),着重强调了其快速性能,可以在仅20分钟消费级GeForce RTX™ 4090上将自定义的1.23亿参数LLM预训练到约3.5的验证损失。
基于ONNX Runtime的Java的Stable Deffusion管线,具有GUI界面和负面文本支持,展示了如何在Java中使用ONNX Runtime进行推理,并提供了性能优化的最佳实践
一个关于学习低级设计(LLD)的资料集合,涵盖了基础的面向对象编程(OOP)概念、设计模式、UML 图、面试题目以及相关书籍推荐等内容。
LightLLM是一个基于Python的LLM(大型语言模型)推理和服务框架,以其轻量级设计、易于扩展和高速性能而闻名。它利用FasterTransformer、TGI、vLLM和FlashAttention等开源实现的优势,提供比Vllm更快的表现。
Mojo语言相关资源列表,Mojo是一门新的编程语言,将Python的易用性与C++和Rust的性能结合在一起,同时允许用户利用Python库的庞大生态系统。
LLMLingua是微软开发的提示压缩工具,利用经过良好训练的小型语言模型进行对齐,旨在实现提示的高效压缩和性能优化,最大程度上保持输出的质量和一致性。
Firefly是一个新型的BEAM语言编译器和运行时,旨在提升编译和运行效率,提供更好的开发体验。它支持多种BEAM语言,具备高效的编译过程和优化的运行时性能,同时还提供实时错误检测和调试功能,方便开发者快速定位问题。
Logos Shift 提供一个简单的方式来替换昂贵的LLM API调用,自动采用经过定制后的更小更快的模型,有效提升模型调用效率并简化管理流程。
MonkeyPatch 是构建可扩展的 LLM 驱动应用的最简单方式,随着时间推移,应用的成本和速度不断优化。
A.I Framewerks是一个强大而全面的人工智能框架,旨在帮助开发者轻松创建和部署AI模型。它提供广泛的功能和工具,以加速开发过程并提高性能。
OpenAI Usage Insights是一款强大的Chrome扩展,能够提供对OpenAI使用情况的深入可视化。用户只需安装此扩展并授权访问其OpenAI账户,即可轻松监控和分析使用数据。
Humy.ai是一个无需编写代码即可创建和部署训练有素的AI助手的产品。用户只需定义助手的行为,上传数据(如网页、常见问题、文档、文章),即可嵌入为聊天气泡或与通信渠道同步,从而获得洞察并优化性能。
Composable Prompts是一个顶尖平台,旨在快速构建、测试和部署基于大型语言模型(LLMs)的任务和API。它为LLMs的世界带来了组合、模板、测试、缓存和可视化等功能,使开发者能够高效地创建强大的提示,重用它们,并在不同环境中进行测试。同时,它通过智能缓存优化性能和成本,并允许轻松切换模型和运行环境。
MetaGPT 是一个多智能体框架,能够扮演不同的角色,如工程师、产品经理、架构师和项目经理。它通过自动优化提示词、生成产品需求文档、设计文档、任务分配与管理、代码仓库生成等功能,协助用户完成复杂的任务。MetaGPT 还支持多角色协作,自动生成软件开发流程和标准操作程序(SOP),适用于各种项目管理和开发需求。