🔥 热门搜索llm vuejs pytorch langchain sql graphql peg leetcode tokio redis unity php8

"多模态"

📘 教程

MemOS 2.0星尘：8个高频用法，超强持久记忆MemOS是一款为LLM和AI代理提供超强持久记忆的内存操作系统。它提供了统一的内存API、多模态内存、多知识库管理等功能。通过本教程，您将学习如何安装和配置MemOS，如何使用MemOS实现持久记忆，如何优化和定制MemOS等。进阶10 章★ 10.1kagentagentic-aiai UI-TARS-desktop 实战进阶UI-TARS-desktop 是一个开源的多模态 AI 代理栈，旨在提供更接近人类的任务完成方式。通过本教程，您将学习如何安装、配置和使用 UI-TARS-desktop，实现智能化的任务自动化。您将掌握如何使用 UI-TARS-desktop 进行多模态交互、任务自动化和性能优化等高级技能。进阶12 章★ 37.7kagentagent-tarsbrowser-use

📖 知识库

multimodal

★★★★★★★★★★高级

multimodal 是指能够同时处理和融合多种不同类型数据（如文本、图像、音频、视频等）的系统或方法，广泛应用于人工智能领域，旨在提高模型的理解能力和泛化能力，通过综合分析不同模态的信息来执行更复杂的任务。

moe

★★★★★★★★★★高级

moe 是由阿里云推出的一种超大规模多模态预训练模型，旨在通过融合多种数据模态（如文本、图像、语音等）来提升模型的泛化能力和跨模态理解能力，广泛应用于自然语言处理和计算机视觉等领域。

📰 资讯

学术研究★★★arXiv · 2026-07-16

SceneBind：跨视觉、音频和语言的场景绑定

SceneBind 提出了一种多模态表示方法，结合了视觉、音频和语言的语义与3D空间理解，弥补了现有方法在空间结构上的不足。

SceneBind 将每个场景表示为语义-空间实体，结合全局语义嵌入和以对象为中心的语义-空间槽位
该表示方法明确捕捉了对象级别的语义、空间属性及不确定性
SceneBind 补足了现有多模态编码器在实例级语义之外的空间结构缺失

📦 开源项目

mckaywrigley/chatbot-ui

chatbot-ui：人工智能聊天界面 — chatbot-ui提供了一种简单的方式来集成AI聊天功能到您的应用中。它支持任何模型，使得您可以轻松地创建自定义的聊天界面。通过使用chatbot-ui，您可以提高用户体验和用户参与度

TypeScript★ 33.3k⑂ 9.4kai-ml

handy-computer/transcribe.cpp

transcribe.cpp：语音转文字工具 — transcribe.cpp是一个基于ggml库的语音转文字工具，支持超过16种不同的模型家族。它能够高效地将语音转换为文本，适用于多种应用场景。

C++★ 1.4k⑂ 35other

+395 ★

datawhalechina/all-in-rag

all-in-rag：RAG技术全栈指南 — all-in-rag 提供了一个全面的RAG（Retrieval-Augmented Generation）技术指南，涵盖从数据准备到模型部署的全过程，帮助开发者掌握大模型应用开发的核心技能。

Python★ 9.6k⑂ 4.8kai-ml

hsliuping/TradingAgents-CN

TradingAgents-CN：中文金融交易框架 — TradingAgents-CN是一个开源的Python项目，利用多智能体LLM技术来优化金融交易决策。它为交易者提供了一个强大的工具，帮助他们做出更明智的投资决策。通过使用TradingAgents-CN，交易者可以提高交易的准确性和效率

Python★ 30k⑂ 6.3kai-ml

hpcaitech/ColossalAI

ColossalAI：大型AI模型的高性能计算框架 — ColossalAI通过数据并行、模型并行和流水线并行等技术，使得大型AI模型的训练和推理变得更快、更便宜和更容易访问。这种框架对于深度学习、分布式计算和超大规模模型的训练具有重要意义。同时，它也支持异构训练和推理，进一步提高了其灵活性和实用性

Python★ 41.4k⑂ 4.5kai-ml

jina-ai/serve

serve：云原生多模态AI应用框架 — serve是一个开源框架，允许开发者使用云原生技术栈构建多模态AI应用。它支持多种深度学习框架和微服务架构，能够帮助开发者快速构建和部署AI应用。serve的设计目标是提供一个简单、灵活和可扩展的框架，用于构建下一代AI应用

Python★ 21.9k⑂ 2.2kai-ml

lutzroeder/netron

netron：神经网络可视化工具 — netron支持多种框架，如TensorFlow、PyTorch和Keras，能够帮助开发者更好地理解和优化他们的模型。通过可视化模型的结构和参数，netron能够提高开发效率和模型性能。同时，netron也支持多种模型格式，如ONNX和CoreML

JavaScript★ 33.2k⑂ 3.2kai-ml

lllyasviel/ControlNet

ControlNet：控制扩散模型 — ControlNet 是一个开源项目，旨在让用户能够控制扩散模型的行为。它提供了一种简单的方式来管理和优化扩散模型，从而使其在各种应用中更加高效和有效。通过使用 ControlNet，用户可以更好地理解和控制扩散模型的行为

Python★ 34k⑂ 3kai-ml

chenfei-wu/TaskMatrix

TaskMatrix：任务管理矩阵 — TaskMatrix是一个开源的任务管理平台，使用Python语言开发。它提供了一个简单易用的接口，帮助用户管理和跟踪任务。通过TaskMatrix，用户可以高效地组织和优先级任务，从而提高生产力。

Python★ 34.1k⑂ 3.2kother

OpenRLHF/OpenRLHF

OpenRLHF：基于 Ray 的易用、可扩展和高性能的智能体 RL 框架 — OpenRLHF 框架支持多种算法，包括 PPO、DAPO、REINFORCE++、VLM、TIS、vLLM 和 Async RL，能够高效地处理大规模数据和复杂任务。该框架基于 Ray，具有高性能和可扩展性，适用于大型语言模型和视觉语言模型的训练和部署。同时，OpenRLHF 还支持从人类反馈中学习，能够提高模型的性能和鲁棒性

Python★ 9.8k⑂ 986ai-ml

hiyouga/LlamaFactory

LlamaFactory：统一高效微调 — LlamaFactory实现了对100多个LLMs和VLMs的统一高效微调，支持多种微调方法，包括fine-tuning、instruction-tuning和Lora等。该项目使用Python语言开发，基于Transformers库，能够高效地微调大语言模型。LlamaFactory的出现对于自然语言处理（NLP）领域具有重要意义，能够帮助研究人员和开发人员更好地利用大语言模型

Python★ 73.4k⑂ 9kai-ml

langchain-ai/langgraph

langgraph：构建强大的智能体 — langgraph是一个开源项目，用于构建能够执行复杂任务的智能体。它提供了一种灵活的框架，用于开发和部署基于AI的代理。langgraph的目标是让开发者能够轻松构建强大的智能体，从而推动AI技术的发展

Python★ 37.6k⑂ 6.3kai-ml

jrouwe/JoltPhysics

JoltPhysics：一个多核友好的刚体物理和碰撞检测库 — JoltPhysics是一个使用C++编写的物理和碰撞检测库，能够有效利用多核处理器，非常适合游戏和VR应用的开发。它已被多个知名游戏如Horizon Forbidden West和Death Stranding 2采用。JoltPhysics的高性能和易用性使其成为游戏开发者的首选。

C++★ 11k⑂ 809game

kvcache-ai/ktransformers

ktransformers：异构大模型推理与微调优化框架 — ktransformers 是一个灵活的框架，旨在优化异构大语言模型的推理和微调过程。通过该框架，用户可以更高效地利用不同硬件资源，提升模型性能。

Python★ 18.8k⑂ 1.5kai-ml

+458 ★

tensorflow/tensorflow

tensorflow：开源机器学习框架 — tensorflow是一个开源的机器学习框架，提供了广泛的工具和资源，用于构建和训练机器学习模型。它支持多种编程语言，包括C++和Python，并提供了分布式训练和部署的能力。tensorflow在深度学习和神经网络领域具有广泛的应用和影响力

C++★ 196.4k⑂ 75.6kai-ml

zml/zml

zml：零损害的AI模型部署 — zml项目旨在打破AI模型部署的硬件限制，允许用户在任何硬件上部署任何模型，使用Zig语言和OpenXLA、MLIR、Bazel等技术，实现高性能和灵活的AI模型部署。该项目对于AI应用的开发和部署具有重要意义。通过zml，开发者可以更容易地将AI模型部署到不同的硬件平台上，提高AI应用的效率和可靠性。

Zig★ 3.9k⑂ 170ai-ml

agentscope-ai/agentscope

agentscope：可信赖的智能代理 — agentscope允许用户构建和运行智能代理，使其变得可见、可理解和可信赖。该项目使用Python语言开发，支持多种功能，如多模态交互和多智能体协作。agentscope的目标是让智能代理变得更加透明和可靠，从而提高用户的信任度。

Python★ 28k⑂ 3.2kai-ml

ZhuLinsen/daily_stock_analysis

daily_stock_analysis：股票智能分析系统 — daily_stock_analysis 系统利用 LLM 驱动的技术，提供多源行情和实时新闻，帮助用户做出明智的投资决策。同时，系统支持零成本定时运行，能够自动推送相关信息。该系统的主要目的是帮助用户更好地分析和理解股票市场的变化

Python★ 57.9k⑂ 49.8kai-ml

m87-labs/moondream

moondream：微型视觉语言模型 — moondream是一个微型视觉语言模型，使用Python编写。它能够处理视觉和语言任务，具有较小的模型大小和较快的推理速度。moondream的出现为视觉语言任务提供了新的解决方案

Python★ 9.9k⑂ 789other

mosra/magnum

magnum：轻量级的C++11图形中间件 — magnum提供了一个灵活和高效的图形渲染引擎，支持多种平台和图形API，包括OpenGL、Vulkan和WebGL。它的模块化设计使得开发者可以轻松地集成和扩展其功能。magnum的应用领域包括游戏开发、数据可视化和科学模拟等

C++★ 5.2k⑂ 464game

sgl-project/sglang

sglang：高性能语言模型服务框架 — sglang提供了高效的模型服务能力，支持多种模型类型，包括语言模型和多模态模型。它使用Python语言开发，能够有效地提升模型的服务性能和扩展性。sglang的出现对于提高AI模型的服务能力和实用性具有重要意义。

Python★ 29.9k⑂ 6.9kai-ml

phillipi/pix2pix

pix2pix：图像到图像的翻译 — pix2pix 项目使用 Lua 语言和 DCGAN、GAN 等技术，实现了图像到图像的翻译。这种技术可以应用于图像生成、图像操纵等领域。pix2pix 的出现对计算机图形学和计算机视觉领域具有重要意义

Lua★ 10.6k⑂ 1.7kai-ml

ultralytics/ultralytics

ultralytics：开源计算机视觉库 — ultralytics 库提供了多种计算机视觉功能，包括目标检测、图像分类、实例分割、姿势估计等。它基于 PyTorch 框架，支持 CLI 和 Hub 功能，能够满足不同用户的需求。ultralytics 库的开源性和强大的功能使其成为计算机视觉领域的重要工具。

Python★ 59.6k⑂ 11.4kai-ml

CVHub520/X-AnyLabeling

X-AnyLabeling：智能图像标注工具 — X-AnyLabeling 是一个集成了Segment Anything和其他先进模型的图像标注工具，旨在通过AI支持简化数据标注过程。这对于需要大量标注工作的计算机视觉项目尤其重要。

Python★ 9.8k⑂ 1.1kai-ml

bytedance/UI-TARS-desktop

UI-TARS-desktop：开放源多模态AI代理栈 — UI-TARS-desktop是一个开源的多模态AI代理栈，旨在连接尖端AI模型和代理基础设施。它提供了一个强大的平台，用于构建和部署多模态AI应用。通过使用UI-TARS-desktop，开发者可以轻松地创建和集成多模态AI功能，提高应用的智能化和交互性。

TypeScript★ 38.1k⑂ 3.8kai-ml

pjreddie/darknet

darknet：神经网络框架 — darknet是一个开源的神经网络框架，使用C语言实现，能够高效地运行在各种设备上。它支持多种神经网络模型，包括卷积神经网络、循环神经网络等。darknet的主要优点是其高性能和灵活性，使其成为各类机器学习任务的热门选择。

C★ 26.5k⑂ 21kai-ml

microsoft/BitNet

BitNet：1位LLM推理框架 — BitNet是微软开发的官方1位LLM推理框架，用于支持低位深度神经网络的高效推理。它能够有效地优化1位LLM的性能，提高推理速度。BitNet的出现对推动低位深度神经网络的发展具有重要意义

C++★ 39.8k⑂ 3.7kai-ml

huggingface/transformers

transformers：机器学习模型框架 — transformers提供了一个统一的框架，用于定义和使用最先进的机器学习模型，包括自然语言处理、语音识别和计算机视觉等领域。该框架支持PyTorch和其他流行的深度学习库，能够方便地进行模型的推理和训练。transformers的出现大大促进了机器学习模型的发展和应用。

Python★ 162.7k⑂ 33.9kai-ml

FunAudioLLM/CosyVoice

CosyVoice：多语言大型语音生成模型 — CosyVoice是一个多语言大型语音生成模型，提供了推理、训练和部署的全栈能力，支持包括中文、英文、日语和韩语在内的多种语言。该模型可以用于各种应用场景，如语音合成、聊天机器人和语音克隆等。CosyVoice的出现可以帮助开发者更容易地创建多语言语音交互系统。

Python★ 22.1k⑂ 2.6kai-ml

kgrzybek/modular-monolith-with-ddd

modular-monolith-with-ddd：基于领域驱动设计的模块化单体应用 — modular-monolith-with-ddd是一个示例项目，展示了如何使用领域驱动设计（DDD）和CQRS等技术实现模块化单体应用。它提供了一个清晰的架构和设计模式，帮助开发者理解和实现软件系统的模块化和解耦。该项目使用Entity Framework Core和REST API等技术，值得开发者参考和学习

C#★ 13.9k⑂ 2.2kbackend

TauricResearch/TradingAgents

TradingAgents：多智能体LLM金融交易框架 — TradingAgents是一个开源的Python项目，提供了一个多智能体LLM金融交易框架，用于研究和开发金融交易智能体。该框架允许用户创建和训练自己的交易智能体，用于金融市场的交易。TradingAgents的目标是提供一个灵活和可扩展的平台，用于金融交易智能体的研究和开发

Python★ 93.7k⑂ 18.1kai-ml

BVLC/caffe

caffe：深度学习开源框架 — caffe是一个高性能的深度学习框架，支持多种神经网络架构和优化算法。它能够用于图像和语音识别、自然语言处理等领域，具有广泛的应用前景。caffe的开源性质使得开发者能够轻松地扩展和定制框架，以满足特定的需求。

C++★ 34.6k⑂ 18.5kai-ml

dgraph-io/dgraph

dgraph：高性能图数据库 — dgraph是一种高性能的图数据库，用于处理实时用例。它使用Go语言编写，能够支持分布式和知识图谱等功能。因此，dgraph在需要高性能和实时数据处理的场景中尤其重要

Go★ 21.7k⑂ 1.6kbackend

mamoe/mirai

mirai：QQ 机器人支持库 — mirai 提供了一个简单易用的 API，允许开发者快速构建 QQ 机器人应用。它支持多种功能，如消息处理、事件处理等。mirai 的高效率和可扩展性使其成为开发者首选的 QQ 机器人支持库

Kotlin★ 14.8k⑂ 2.5kai-ml

huggingface/pytorch-image-models

pytorch-image-models：PyTorch 图像编码器集合 — pytorch-image-models 提供了一个全面且易于使用的 PyTorch 图像编码器集合，包含多种预训练模型和脚本，能够帮助开发者快速构建和部署图像分类模型。该集合包括了 ResNet、ResNeXT、EfficientNet、NFNet、Vision Transformer 等流行模型，能够满足不同应用场景的需求。同时，pytorch-image-models 也提供了便捷的训练、评估和推理脚本，能够帮助开发者快速上手和部署模型

Python★ 37k⑂ 5.2kai-ml

open-mmlab/mmsegmentation

mmsegmentation：开放语义分割工具箱和基准 — mmsegmentation提供了一个统一的框架，用于评估和比较不同语义分割算法的性能，包括Deeplabv3、PSPNet和Swin-Transformer等。它支持PyTorch和其他流行的深度学习框架，能够帮助研究人员和开发人员快速开发和部署语义分割模型。mmsegmentation在医疗图像分割、实时分割和其他领域有广泛的应用

Python★ 9.9k⑂ 2.9kai-ml

Mintplex-Labs/anything-llm

anything-llm：本地人工智能代理解决方案 — anything-llm提供了一种本地优先的代理体验，允许用户自主控制自己的智能代理。它支持多模态交互和无代码开发，适用于需要自主AI解决方案的用户。anything-llm的出现标志着人工智能发展的一个新方向，即更加注重用户的自主性和数据隐私

JavaScript★ 63.6k⑂ 7kai-ml

deepset-ai/haystack

haystack：开源AI编排框架 — haystack允许用户设计模块化的管道和agent工作流，并对检索、路由、内存和生成具有明确的控制权。它适用于大规模agent、RAG、多模态应用、语义搜索和对话系统。haystack的目的是为了帮助用户构建高效、智能的LLM应用程序

MDX★ 25.9k⑂ 2.9kai-ml

haotian-liu/LLaVA

LLaVA：视觉指令调优模型 — LLaVA 是一个基于视觉指令调优的模型，旨在实现与 GPT-4V 相同甚至更高的能力。它通过将视觉和语言信息相结合，实现了多模态学习和推理的能力。这种模型在多模态任务中具有重要意义，能够更好地处理视觉和语言信息。

Python★ 24.9k⑂ 2.8kai-ml