Liquid Foundation Models (LFMs)官网 – 高效多模态生物启发AI模型

SAGE-KV（Self-Attention Guided KV Cache Eviction）是一种用于大语言模型（LLMs）高效推理的方法，特别适用于处理长上下文。它通过自注意力机制指导键值（KV）缓存淘汰，显著提高了内存效率和推理速度，同时保持与完整注意力模型相当的准确性。该方法特别适用于上下文窗口从128K到1M token的LLMs，解决了内存和延迟的瓶颈问题。

xLSTM-7B是一种扩展的LSTM模型架构，通过引入Exponential Gating和Matrix Memory等技术，克服了传统LSTM的局限性。相较于Transformer架构，xLSTM-7B在推理速度和参数效率方面表现出显著优势，适用于多种序列数据处理任务。

GPT-4o是OpenAI开发的多模态AI模型，集成了文本、图像和音频处理能力。它通过高精度语音转文本和可控的文本转语音技术，帮助开发者解决嘈杂环境下语音识别不准及语音输出缺乏个性化的问题，为构建智能语音代理和高效转录场景提供核心支持。该模型支持多种API调用，包括聊天完成API、助手API和批处理API，适合多种应用场景。

StarVector 是一个基于视觉-语言建模架构的创新模型，旨在高效生成可缩放矢量图形（SVG）。它通过多模态处理，结合视觉和语言输入，将图像或文本指令转换为高质量的SVG代码，解决了手动编写复杂矢量图形的效率问题。该项目在图标、徽标和技术图表等领域表现突出，但不适用于自然图像或插图的生成。

OpenBuddy-Llama3.1-8B-v22.1-131k 是由 OpenBuddy 团队开发的 AI 模型，基于 Meta 的 Llama3.1-8B 模型训练，支持多种语言，包括中文、英文、日文、韩文、法文、德文等。其上下文长度达 131072 tokens，通过 2500 万条合成数据训练，展现出与 GPT-3.5 Turbo 相似的认知和推理能力。该模型特别针对中文问答和跨语言翻译进行了优化，未来计划进一步提升中文编码效率和长文处理能力。

长文本场景下的高效解码方案，让大语言模型推理不再卡顿。

该项目旨在提升DeepSeek-R1 GGUF模型在KTransformers上的运行效率，提供近2倍的性能提升，并支持多GPU和内存映射，适配不同硬件，优化配置丰富，便于实现高效推理。

rational_kat_cu 是一个用于 Kolmogorov–Arnold Transformers (KAT) 的 CUDA C++ 扩展项目，专注于实现 group rational function，并支持高效的训练和推理。通过 CUDA 加速，该项目显著提升了 KAT 模型的性能，特别适用于需要高性能计算的场景。

一种超高效的微调方法，旨在扩展预训练大型语言模型 (LLM) 的上下文大小，而无需巨大的计算成本。它使用稀疏局部注意力替代密集全局注意力，显著节省计算量，同时在训练过程中只需两行代码即可实现，推理时可选。结合可训练的嵌入和归一化，增强LoRA的有效性，并在7B/13B到70B的LLaMA2模型上表现出强大的性能。此外，LongLoRA兼容FlashAttention-2等现有技术，并创建了LongQA数据集用于监督微调，包含超过3000个长上下文问答对。

通义千问是由阿里巴巴云开发的大型语言模型，支持多种AI应用，包括智能搜索、文档处理和内容生成。其显著应用之一是Quark平台上的AI PPT生成工具，支持上传文档、音视频文件和网页链接生成PPT，并支持长文本生成演示文稿，导出功能完全免费。通义千问还支持自然语言处理、内容生成和开发者API集成，方便构建定制AI应用。

Phi-3.5-vision是由微软开发的开源多模态模型，专注于文本和视觉数据处理。它基于合成数据和精选公开数据构建，支持128K上下文长度，通过监督微调和直接偏好优化提升指令遵循和安全性。该模型参数量为42亿，包含图像编码器、连接器、投影器和Phi-3 Mini语言模型，训练数据达5000亿令牌，适用于内存/计算受限环境。

MaxDiffusion是一个专注于AI扩散模型的高效实现与优化的项目，旨在为大规模训练和推理提供强大的支持。它支持多种主流扩散模型，并通过优化的TPU和GPU加速显著提升推理速度。此外，项目还引入了Flux LoRA等创新功能，进一步提高了推理效率。

StreamingLLM 是一种语言模型，能够顺利处理无尽的文本而不会失去上下文信息流，从而实现与人工智能助手的深度对话和长文本总结。

激活信标可以将LLM的原始激活压缩成更紧凑的形式，从而在有限的上下文窗口中感知更长的上下文。它通过短滑动窗口处理长上下文，同时保留LLM在短上下文上的原始能力，显著提高了长上下文语言建模和理解任务的表现。

Azure OpenAI Service是由Microsoft提供的AI服务，整合了OpenAI的先进模型（如GPT-4、GPT-3.5-Turbo等），为企业提供安全、可扩展的定制化AI解决方案。该服务支持模型微调、代理创建和检索增强生成（RAG），具备企业级安全合规性（99.9% SLA保障），并广泛应用于医疗、金融等领域，例如Providence医疗集团通过该服务优化患者护理流程。