Llama开源大模型

Llama已然是最领先的开源大模型LLM，下载量接近3.5亿次，需求巨大，适用于各种自然语言处理任务。

Transformers.js 是一个 JavaScript 库，允许用户在浏览器中直接运行预训练的 Transformer 模型，支持自然语言处理、计算机视觉、音频处理和多模态任务。它使用 ONNX Runtime 在浏览器中高效运行模型，并支持将 PyTorch、TensorFlow 或 JAX 模型转换为 ONNX 格式。

PAIR是一款利用机器学习技术开发的AI驱动的编码辅助REPL工具。它将GPT-4与开发人员配对，通过交互式编程对话提高编程效率和准确性。PAIR是开源项目，为开发人员提供更高效、更智能的编程工具。

liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入'litellm'库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。

TorchScale 包含我们在Transformers稳定性（DeepNet）、通用性（Magneto/Foundation Transformers）和效率性（X-MoE）的一系列研究的官方实现。我们希望通过基础本质的研究探索AI（尤其是大模型）的通用结构，并在NLP，CV，Speech和多模态等领域的任务和基础模型中广泛验证，欢迎大家使用、交流、合作开发。

WaveCoder是一个广泛且多才的项目，专注于增强指令调优和精炼数据生成，采用经过精心调优的代码语言模型和生成器-判别器框架，从开源代码中生成高质量、非重复的指令数据，显著提升大型语言模型在与代码相关任务中的表现和泛化能力。

一个汇集了可通过API访问的免费大型语言模型（LLM）推理资源的列表，方便开发者获取和使用各种大型语言模型的API。

LMQL是一种专门为大型语言模型(LLMs)设计的查询语言，结合了自然语言提示和Python的表达能力。它提供了约束、调试、检索和控制流等功能，以便于与LLMs的交互。

Fine-Tuner AI是一款强大的工具，利用尖端的微调技术提升您的自然语言处理(NLP)模型性能。它可以在更少的数据下以极短的时间内实现更好的结果。用户只需将NLP模型和数据上传到平台，Fine-Tuner将应用其先进的微调算法，优化模型以提高性能。优化后的模型可以轻松集成回现有工作流程中。

本项目基于Meta发布的可商用大模型Llama-2开发，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。

Grok-1是xAI推出的开源大语言模型，拥有3140亿参数，适用于NLP任务，并提供JAX示例代码，便于加载、运行和微调。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

2000 Hugging Face Prompts 是一份全面的资源，旨在帮助爱好者学习和实验 Hugging Face，使他们熟悉其在不同背景下的功能和应用。

Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具，支持通过 WebGPU 加速。它支持多种大型语言模型，包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath，并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验，仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。

StackAI是一个综合平台，致力于为用户提供最新的AI技术。它提供了一系列精心挑选的AI工具，并定期更新新发布的AI。

Cargoship是一个开源平台，允许用户轻松将人工智能集成到他们的应用程序中。它提供了一系列用于各种AI任务的预训练模型，如图像识别、语言处理、文本生成和音频转录。用户只需从其开源集合中选择一个模型，该模型以Docker容器的形式打包，便于托管或通过个人端点和API密钥访问，无需具备机器学习知识即可将模型整合到软件中。

Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具，将模型的权重、配置、提示等打包成自包含的文件，可以在任何地方运行。