"大數據"

langchain-ai/open_deep_research

open_deep_research：開源深度研究平台 — open_deep_research 提供了一個強大的開源框架，支持各種深度學習模型的開發和研究。它對於希望在深度學習領域進行創新研究的開發者來說極為重要。

Python★ 12.2k⑂ 1.7kother

+14 ★☆

binhnguyennus/awesome-scalability

awesome-scalability：大規模系統擴展性和可靠性模式 — awesome-scalability 提供了大規模系統的設計模式和架構指南，涵蓋了 backend、big-data、distributed-systems 和 system-design 等領域，幫助開發者打造可擴展、可靠和高性能的系統。這個庫對於想要學習大規模系統設計和開發的開發者來說非常有用。同時，awesome-scalability 也提供了 interview 和 interview-practice 相關的資源，幫助開發者準備面試和實踐技能

★ 72.5k⑂ 7kai-ml

☆

hpcaitech/ColossalAI

ColossalAI：大型 AI 模型開發框架 — ColossalAI 通過提供高效的數據平行和模型平行計算方法，使大型 AI 模型的訓練和推理過程更快更便宜。這項技術的開發對於推動 AI 研究和應用具有重要意義，尤其是在大型模型和分布式計算領域。同時，ColossalAI 也支持異構訓練和管道平行等先進功能，進一步擴展了其在 AI 研究和開發中的應用價值。

Python★ 41.4k⑂ 4.5kai-ml

☆

airbytehq/airbyte

airbyte：開源數據移動平台 — airbyte 是一個開源的數據移動平台，支持 ELT 管道和 AI 應用程序，能夠從各種來源中提取數據，然後將其載入倉庫、數據湖和 AI 應用程序中。它支持多種數據源，包括 API、數據庫和文件，並且可以自行托管或部署在雲端。這使得數據工程師和分析師能夠輕鬆地將數據整合到各種應用程序中，從而支持商業智能和數據驅動的決策

Python★ 21.7k⑂ 5.3kdata

☆

donnemartin/data-science-ipython-notebooks

data-science-ipython-notebooks：數據科學互動筆記本 — data-science-ipython-notebooks 提供了多個數據科學主題的互動式 Python 筆記本，包括深度學習框架（如 TensorFlow 和 Keras）、大數據處理工具（如 Spark）以及機器學習庫（如 scikit-learn）。這些資源對於學習和應用數據科學技術非常有用。

Python★ 29.2k⑂ 8kdata

☆

volcano-sh/volcano

volcano：雲原生批量系統 — volcano 是一個開源的批量系統，基於 Kubernetes，提供高性能和可擴展的批量計算能力。它支持多種工作負載，包括 AI、機器學習和大數據處理。volcano 的設計目標是提供一個靈活、可靠和高效的批量系統，以滿足雲原生應用的需求

Go★ 5.8k⑂ 1.5kai-ml

☆

MiniMax-AI/skills

skills：人工智慧技能開發 — skills是一個開源項目，提供了一個基於C#的技能開發框架，讓開發者可以輕鬆地創建和集成人工智慧技能。這個項目的目的是提供一個簡單和靈活的方式來開發和應用人工智慧技能。同時，skills也提供了一個強大的API，讓開發者可以輕鬆地擴展和自定義技能

C#★ 13.1k⑂ 1.1kother

☆

taosdata/TDengine

TDengine：高效能時間序列資料庫 — TDengine是一個高效能、可擴展的時間序列資料庫，設計用於工業物聯網（IIoT）場景。它提供高效的資料儲存和查詢功能，支持分布式架構和SQL查詢。TDengine的優點在於其高性能、可擴展性和易用性，使其成為工業物聯網和物聯網應用的理想選擇

C★ 25k⑂ 5kbackend

☆

calcom/cal.diy

cal.diy：開源排程基礎設施 — cal.diy 提供了一個開源的排程基礎設施，讓開發者可以輕鬆地建立自己的排程系統。該項目使用了多種流行的技術，包括 nextjs、postgresql、prisma 和 tailwindcss。通過 cal.diy，開發者可以快速建立一個可靠且高效的排程系統，滿足各種需求。

TypeScript★ 46.6k⑂ 14.5kweb

☆

aristocratos/btop

btop：系統資源監控工具 — btop是一個系統資源監控工具，提供CPU、記憶體、磁碟和網路等資源使用情況的即時統計。它可以幫助用戶了解系統的性能和瓶頸，從而優化系統的配置和使用。通過btop，用戶可以快速地識別系統中的問題和優化機會

C++★ 33.6k⑂ 1.1kother

☆

rethinkdb/rethinkdb

rethinkdb：实时網路開源数据库 — rethinkdb 是一个开源的 NoSQL 数据库，旨在支持实时網路应用。它提供了实时数据处理和推送功能，能够帮助开发者构建实时網路应用。通过使用 rethinkdb，开发者可以轻松地处理大量的实时数据，并提供更好的用户体验

C++★ 27k⑂ 1.9kweb

☆

apache/flink

flink：開源大數據處理引擎 — flink是一個強大的開源大數據處理引擎，支持多種編程語言，包括Java、Python和Scala，能夠高效地處理大規模的數據。它提供了多種功能，包括數據處理、數據分析和數據儲存，廣泛應用於各種領域。flink的優點在於其高性能、可擴展性和易用性，使其成為大數據處理的首選工具。

Java★ 26.2k⑂ 14kbackend

☆

apache/shardingsphere

shardingsphere：分布式SQL數據庫解決方案 — shardingsphere是一個基於Java的分布式SQL數據庫中間件，支持多種數據庫，如MySQL、PostgreSQL等，提供數據分片、讀寫分離、分布式事務等功能，能夠有效提高數據庫的可擴展性和安全性。shardingsphere的設計目標是提供一個高性能、可靠和安全的數據管理平台，能夠支持各種大數據應用場景。通過使用shardingsphere，開發人員可以更容易地構建和管理大規模的數據庫系統

Java★ 20.8k⑂ 6.9kbackend

☆

qdrant/qdrant

qdrant：高性能向量數據庫和向量搜索引擎 — qdrant是一個高性能、可擴展的向量數據庫和向量搜索引擎，使用Rust語言開發，提供了高效的向量搜索和儲存功能。它適用於下一代人工智慧應用，包括圖片搜索、推薦系統和自然語言處理等領域。qdrant的雲端版本也可在https://cloud.qdrant.io/獲得

Rust★ 33.4k⑂ 2.5kai-ml

☆

alibaba/zvec

zvec：輕量級向量數據庫 — zvec 是一個基於 C++ 的向量數據庫，旨在提供快速和輕量級的向量存儲和查詢功能。它的設計目標是為大規模的向量數據提供高效的存儲和查詢能力，從而支持各種應用場景的需求。通過使用 zvec，開發者可以輕松地將向量數據庫集成到自己的應用中

C++★ 14.6k⑂ 901backend

+395 ★☆

pjreddie/darknet

darknet：神經網路框架 — darknet 提供了一個簡單且高效的方式來實現 CNN 模型，支援多種神經網路架構和訓練算法。這個框架廣泛應用於圖像識別、物體偵測等領域。darknet 的優點在於其高性能和低資源占用，使其成為嵌入式系統和移動設備的理想選擇。

C★ 26.5k⑂ 21kai-ml

☆

0voice/interview_internal_reference

interview_internal_reference：技術面試題目匯總 — interview_internal_reference 項目匯總了來自阿里、騰訊、百度、美團、頭條等公司的技術面試題目和答案，涵蓋了 CPU、high-performance、mongodb、mysql、network、nginx、redis、storage、zookeeper 等多個領域。該項目旨在幫助開發者準備技術面試，提高面試成功率。通過該項目，開發者可以快速了解各個公司的技術面試重點和難點

Python★ 37.2k⑂ 9.4kbackend

☆

amark/gun

gun：去中心化圖形數據同步協議 — gun是一個開源的網絡安全協議，用于同步去中心化圖形數據。它可以應用於各種領域，如人工智能、區塊鏈和Web3，提供了實時的數據同步和加密功能。gun的去中心化設計使其具有高度的可擴展性和容錯性，非常適合於大數據和機器學習應用。

JavaScript★ 19.1k⑂ 1.2kblockchain

☆

datawhalechina/all-in-rag

all-in-rag：大模型應用開發實戰 — all-in-rag 提供了全面的 RAG 技術指南，涵蓋了從基礎到進階的應用開發，是學習和使用大模型的寶貴資源。

Python★ 9.6k⑂ 4.8kai-ml

☆

keras-team/keras

keras：人性化的深度學習框架 — keras 是一個高層神經網絡 API，能夠在 TensorFlow、PyTorch 和 JAX 等多個後端上運行。它提供了簡單易用的 API，讓用戶可以快速地構建和訓練神經網絡模型。keras 的出現使得深度學習技術更加民主化和易於使用

Python★ 64.2k⑂ 19.7kai-ml

☆

academic/awesome-datascience

awesome-datascience：数据科学学习仓库 — awesome-datascience 提供了大量的数据科学资源，包括机器学习、深度学习、数据可视化等方面的内容。它帮助开发者和数据科学家解决现实世界的问题。通过 awesome-datascience，开发者可以快速找到合适的工具和库来解决特定的问题。

★ 29.7k⑂ 6.6kdata

☆

explosion/spaCy

spaCy：工業級自然語言處理 — spaCy 提供高效的自然語言處理功能，包括實體辨識、文本分類和標記化等，能夠有效地處理大量文本數據。它的優點在於高效、可擴展和易於使用，廣泛應用於各個領域的文本分析任務。因此，spaCy 成為了 Python 中最受歡迎的 NLP 庫之一

Python★ 33.8k⑂ 4.7kai-ml

☆

datawhalechina/happy-llm

happy-llm：大模型构建项目 — happy-llm项目旨在从零开始构建大模型，使用Jupyter Notebook语言开发，涵盖了agent、llm和rag等主题。该项目为构建大模型提供了一个基础框架，能够帮助开发者更好地理解和实现大模型的构建。同时，该项目也是一个开源项目，欢迎开发者参与贡献和学习

Jupyter Notebook★ 32.2k⑂ 3.1kai-ml

☆

DataV-Team/DataV

DataV：Vue数据可视化组件库 — DataV提供SVG的边框及装饰、图表、水位图、飞线图等组件，简单易用，长期更新。它的出现填补了Vue数据可视化领域的空白，帮助开发者快速构建数据可视化应用。同时，DataV的React版也已发布，扩大了其适用范围

Vue★ 9.7k⑂ 1.8kweb

☆

arp242/goatcounter

goatcounter：簡單的網頁分析工具 — goatcounter 是一款使用 Go 語言開發的網頁分析工具，提供了簡單易用的分析功能，同時保護用戶的個人資料。它可以幫助網站管理員了解網站的流量和用戶行為，而不需要追蹤個人資料。這使得 goatcounter 成為了一款尊重用戶隱私的網頁分析工具

Go★ 5.8k⑂ 266data

☆

outline/outline

outline：知識庫管理工具 — outline是一個基於TypeScript的知識庫管理工具，提供美觀的界面、實時協作功能、豐富的功能和markdown兼容性。它可以幫助團隊更有效地管理知識和文檔，提高生產力和溝通效率。同時，outline也支持多種技術，如docker、javascript、mobx、nodejs、react和slack等.

TypeScript★ 39.8k⑂ 3.4kweb

☆

dgraph-io/dgraph

dgraph：高效能圖形資料庫 — dgraph 是一個為即時使用案例設計的高性能圖形資料庫，使用 Go 語言開發。它能夠處理大量的資料和複雜的查詢，適用於各種需要實時資料處理的應用。dgraph 的分散式架構使其能夠水平擴展，滿足大規模應用的需求

Go★ 21.7k⑂ 1.6kbackend

☆

ashishpatel26/500-AI-Machine-learning-Deep-learning-Computer-vision-NLP-Projects-with-code

500-AI-Machine-learning-Deep-learning-Computer-vision-NLP-Projects-with-code：人工智慧項目集 — 500-AI-Machine-learning-Deep-learning-Computer-vision-NLP-Projects-with-code 項目收集了多個人工智慧領域的項目，包括機器學習、深度學習、電腦視覺和NLP。這些項目均附帶代碼，供開發者學習和研究。通過這些項目，開發者可以快速入門人工智慧領域，了解各種技術的實現細節。

★ 35.6k⑂ 7.4kai-ml

☆

netdata/netdata

netdata：人工智慧全棧可觀測性監控 — netdata 提供了快速且全面的監控解決方案，使用人工智慧技術來分析數據，從而幫助用戶快速地發現和解決問題。它支持多種數據源和視覺化工具，包括 Grafana、InfluxDB 和 Prometheus，讓用戶可以輕鬆地監控和分析自己的應用程式和系統。同時，netdata 也支持多種平台，包括 Linux、Kubernetes 和 Docker，讓用戶可以在不同的環境中使用。

Go★ 79.7k⑂ 6.5kdevops

☆

johnkerl/miller

miller：命令列工具 — miller 是一個強大的命令列工具，能夠輕鬆地處理和分析結構化數據。它支援多種數據格式，包括 CSV、TSV 和 JSON，並提供了多種功能，例如數據清理、數據處理和統計分析。這使得 miller 成為數據科學家和開發人員的必備工具

Go★ 10k⑂ 238devops

☆

Canner/WrenAI

WrenAI：生成式商業智能 — WrenAI 提供了一個開放的上下文層，使 AI 代理能夠將自然語言問題轉換為跨多個數據源（如 BigQuery、Snowflake 等）的可信視覺化報告和 SQL 查詢。這對於需要快速獲取數據洞察的企業來說非常重要。

Python★ 16.3k⑂ 1.9kai-ml

+121 ★☆

andrewyng/context-hub

context-hub：內容集線器 — context-hub 是一個開源的 JavaScript 專案，旨在提供內容管理和集線功能，讓開發者能夠更容易地管理和整合不同的內容來源。這個專案使用 JavaScript 開發，提供了一個靈活和可擴展的解決方案，讓開發者能夠根據自己的需求進行自訂。同時，context-hub 也提供了一個強大的 API，讓開發者能夠更容易地與其他應用程式和服務進行整合

JavaScript★ 13.8k⑂ 1.2kweb

☆

junhoyeo/tokscale

tokscale：開放式代碼追蹤工具 — tokscale 是一個命令列工具，能夠追蹤來自多個 AI 平台的令牌使用情況，並提供全球排行榜和詳盡的貢獻圖表，幫助用戶更好地管理其資源。

Rust★ 4.5k⑂ 344ai-ml

☆

OpenBB-finance/OpenBB

OpenBB：金融数据平台 — OpenBB是一个基于Python的金融数据平台，旨在为分析师、量化交易员和AI代理提供便捷的金融数据访问和分析能力。该平台涵盖了多个金融领域，包括加密货币、衍生品、股票和固定收入等。通过OpenBB，用户可以更高效地获取和处理金融数据，从而更好地进行投资决策和风险管理。

Python★ 70.8k⑂ 7.2kai-ml

☆

BVLC/caffe

caffe：深度學習快速開放框架 — caffe是一個開源的深度學習框架，旨在提供快速和高效的神經網絡計算功能。它支持多種程式語言，包括C++、Python和MATLAB，同時也提供了豐富的API和工具，讓開發者可以輕鬆地使用和擴展。caffe的優勢在於其高性能和高擴展性，使其成為深度學習領域的一個重要工具

C++★ 34.6k⑂ 18.5kai-ml

☆

Lightning-AI/pytorch-lightning

pytorch-lightning：輕鬆擴展AI模型訓練 — pytorch-lightning能夠讓用戶輕鬆地擴展AI模型的訓練，支持在1到10,000多個GPU上進行訓練，無需修改代碼。這使得開發人員能夠專注於模型的設計和優化，而不需要擔心底層的硬件配置。同時，pytorch-lightning也支持多種AI模型的預訓練和微調，讓用戶能夠快速地部署和使用自己的AI模型

Python★ 31.2k⑂ 3.8kai-ml

☆

chenfei-wu/TaskMatrix

TaskMatrix：任務管理工具 — TaskMatrix 是一個開源的任務管理工具，使用 Python 編寫。它提供了一個簡單易用的介面來管理和追蹤任務，讓用戶可以輕鬆地組織和優先處理任務。透過 TaskMatrix，用戶可以提高工作效率和生產力。

Python★ 34.1k⑂ 3.2kother

☆

apache/kafka

kafka：分散式事件串流平台 — kafka是一個開源的分散式事件串流平台，提供高性能和可擴展的消息處理能力，適用於大數據處理和實時分析。它可以處理大量的事件串流數據，提供低延遲和高吞吐量的消息傳遞。kafka廣泛應用於各種領域，包括物聯網、金融服務和社交媒體等

Java★ 33.3k⑂ 15.4kother

☆

rustfs/rustfs

rustfs：高效能物件儲存系統 — rustfs是一個由Rust語言開發的高效能物件儲存系統，相容於Amazon S3，能夠提供比MinIO更快速的儲存和擷取功能。它支援多雲端儲存和遷移，讓使用者能夠輕鬆地在不同平台之間移動資料。rustfs的高效能和彈性使其成為大數據和雲端應用中的理想選擇

Rust★ 30k⑂ 1.3kdata

☆

alibaba/canal

canal：阿里巴巴 MySQL binlog 增量订阅&消费组件 — canal 是一個開源的 MySQL binlog 增量訂閱和消費組件，提供實時數據同步和數據整合的能力。它支持多種數據源和消費模式，適用於各種大數據和實時數據處理場景。canal 的開源特性和高可用性使其成為企業數據集成和實時數據處理的重要工具

Java★ 29.7k⑂ 7.6kother

☆