"資料管線"

airbytehq/airbyte

airbyte：開源數據移動平台 — airbyte 是一個開源的數據移動平台，支持 ELT 管道和 AI 應用程序，能夠從各種來源中提取數據，然後將其載入倉庫、數據湖和 AI 應用程序中。它支持多種數據源，包括 API、數據庫和文件，並且可以自行托管或部署在雲端。這使得數據工程師和分析師能夠輕鬆地將數據整合到各種應用程序中，從而支持商業智能和數據驅動的決策

Python★ 21.6k⑂ 5.3kdata

☆

aristocratos/btop

btop：系統資源監控工具 — btop是一個系統資源監控工具，提供CPU、記憶體、磁碟和網路等資源使用情況的即時統計。它可以幫助用戶了解系統的性能和瓶頸，從而優化系統的配置和使用。通過btop，用戶可以快速地識別系統中的問題和優化機會

C++★ 33.5k⑂ 1.1kother

☆

chenfei-wu/TaskMatrix

TaskMatrix：任務管理工具 — TaskMatrix 是一個開源的任務管理工具，使用 Python 編寫。它提供了一個簡單易用的介面來管理和追蹤任務，讓用戶可以輕鬆地組織和優先處理任務。透過 TaskMatrix，用戶可以提高工作效率和生產力。

Python★ 34.1k⑂ 3.2kother

☆

vectordotdev/vector

vector：高性能可觀測性資料管道 — vector 是一個使用 Rust 語言開發的高性能可觀測性資料管道，能夠高效地處理和轉換資料，支持多種資料來源和目的地，包括日誌、計量和追蹤等。它的高性能和可擴展性使其成為雲原生應用程序的理想選擇。通過使用 vector，開發人員可以輕鬆地構建和管理自己的可觀測性資料管道

Rust★ 22.2k⑂ 2.2kdevops

☆

DataTalksClub/data-engineering-zoomcamp

data-engineering-zoomcamp：資料工程線上課程 — data-engineering-zoomcamp是一個免費的9週資料工程課程，教導學員使用dbt、docker、kafka、kestra和spark等工具建置生產環境的資料管道。這個課程可以幫助學員了解資料工程的基礎知識和實踐技能，從而提升他們的職業能力。通過這個課程，學員可以學習到如何設計和建置資料管道、如何使用各種工具和技術來處理資料等。

Jupyter Notebook★ 43.5k⑂ 8.6kdata

☆

jenkinsci/jenkins

jenkins：自動化伺服器 — jenkins是一個開源的自動化伺服器，提供了cicd、continuous-delivery、continuous-deployment和continuous-integration等功能，讓開發人員可以更容易地實現devops和pipelines-as-code。jenkins使用Java和groovy等語言開發，廣泛應用於軟體開發和部署過程。jenkins的自動化功能可以幫助開發人員提高效率和降低錯誤率

Java★ 25.7k⑂ 9.7kdevops

☆

calcom/cal.diy

cal.diy：開源排程基礎設施 — cal.diy 提供了一個開源的排程基礎設施，讓開發者可以輕鬆地建立自己的排程系統。該項目使用了多種流行的技術，包括 nextjs、postgresql、prisma 和 tailwindcss。通過 cal.diy，開發者可以快速建立一個可靠且高效的排程系統，滿足各種需求。

TypeScript★ 46.4k⑂ 14.4kweb

☆

allenai/olmocr

olmocr：PDF 文檔線性化工具包 — olmocr 提供了一個簡單的方法來處理 PDF 文檔，讓用戶可以輕鬆地將其轉換為大型語言模型（LLM）可以接受的格式。這個工具包是基於 Python 開發的，使用簡單且高效。olmocr 的出現可以大大提高 LLM 數據集的準備效率和質量

Python★ 18.5k⑂ 1.5kai-ml

+334 ★☆

novuhq/novu

novu：開源通訊基礎設施 — novu 提供了一個開源的通信基礎設施，讓代理人和產品可以進行通信和交互。它支持多種通信方式，包括電子郵件、簡訊和推送通知。novu 的目的是為開發人員提供一個簡單、可擴展的通信解決方案

TypeScript★ 39.3k⑂ 4.4kai-ml

☆

microsoft/presidio

presidio：敏感数据保护框架 — presidio支持NLP、模式匹配和可定制的管道，能够有效地保护个人隐私数据。通过使用presidio，开发者可以轻松地将数据保护功能集成到自己的应用程序中。同时，presidio还支持多种数据类型，包括文本、图像和结构化数据。

Python★ 9.7k⑂ 1.2kai-ml

☆

bitwarden/server

server：Bitwarden 基礎設施/後端 — server 是 Bitwarden 的基礎設施/後端，負責提供 API、資料庫等功能，使用 C# 語言開發，並支持 Docker 等容器化技術。這個項目為 Bitwarden 的核心組件，提供了安全的密碼管理功能。同時，server 也支持 SignalR 和 SQL Server 等技術，提供了實時通訊和資料存儲功能

C#★ 19.4k⑂ 1.7kbackend

☆

alibaba/druid

druid：阿里巴巴的数据库連接池 — druid 是一个Java语言开发的数据库连接池，旨在为监控而生，提供高性能和可靠的数据库连接管理。它能够帮助开发人员更好地管理数据库连接，提高应用程序的稳定性和安全性。同时，druid 也提供了丰富的监控和报警功能，帮助开发人员快速定位和解决数据库相关的问题

Java★ 28.2k⑂ 8.6kother

☆

pathwaycom/llm-app

llm-app：雲端模板和企業搜索解決方案 — llm-app 是一個雲端模板和企業搜索解決方案，提供即可運行的環境，適用於 RAG、AI 管線和企業搜索，同時支援多種資料來源，能夠實現與實時資料 API 的同步。這個解決方案使用 Jupyter Notebook 作為主要開發語言，同時整合了多種機器學習相關技術，包括 Hugging Face、Open AI 等。llm-app 的設計宗旨是提供一個高效、安全、可擴展的解決方案，適用於各種企業級別的應用場景。

Jupyter Notebook★ 59.1k⑂ 1.4kai-ml

☆

cloudflare/pingora

pingora：用於建構快速、可靠和可演化的網路服務庫 — pingora 是一個 Rust 庫，提供了建構快速、可靠和可演化的網路服務的功能。它可以幫助開發者建立高效和可擴展的網路應用程式。透過使用 pingora，開發者可以簡化網路服務的建構和維護過程

Rust★ 27k⑂ 1.7kother

☆

datahaven-xyz/datahaven

datahaven：去中心化儲存和區塊鏈解決方案 — datahaven 是一個去中心化的儲存和區塊鏈解決方案，利用 StorageHub 和 EigenLayer 技術提供安全和高效的儲存和計算能力。這個項目的目的是為用戶提供一個安全、去中心化和高效的資料儲存和計算平台。透過 datahaven，用戶可以享受更高的隱私和安全性

Rust★ 7.9k⑂ 146blockchain

☆

encoredev/encore

encore：智慧時代的基礎設施平台 — encore是一個基礎設施平台，使用Go語言開發，提供了基礎設施即程式碼和自動化功能，能夠支援雲原生應用、微服務和伺服器無架構等。它可以幫助開發人員更容易地管理和部署應用，提高效率和可靠性。同時，encore也支持多種雲端平台，包括AWS和GCP。

Go★ 12.1k⑂ 597backend

☆

flyway/flyway

flyway：數據庫遷移工具 — flyway是一個Java庫，提供簡單易用的數據庫遷移功能，支持多種數據庫管理系統，如MySQL、PostgreSQL、SQL Server等。它可以幫助開發人員和數據庫管理員簡化數據庫管理過程，實現連續交付和部署。flyway的目標是讓數據庫遷移變得容易和可靠

Java★ 9.9k⑂ 1.6kbackend

☆

PrefectHQ/prefect

prefect：工作流程協調框架 — prefect是一個強大的工作流程協調框架，允許用戶使用Python建立和管理複雜的資料管線。它提供了高可用性和容錯性的功能，確保資料管線的可靠性和效率。通過使用prefect，開發人員可以更輕鬆地建立和管理大規模的資料管線，從而提高資料處理的效率和品質

Python★ 23.3k⑂ 2.4kbackend

+66 ★☆

alibaba/canal

canal：阿里巴巴 MySQL binlog 增量订阅&消费组件 — canal 是一個開源的 MySQL binlog 增量訂閱和消費組件，提供實時數據同步和數據整合的能力。它支持多種數據源和消費模式，適用於各種大數據和實時數據處理場景。canal 的開源特性和高可用性使其成為企業數據集成和實時數據處理的重要工具

Java★ 29.7k⑂ 7.6kother

☆

google-ai-edge/mediapipe

mediapipe：跨平台機器學習框架 — mediapipe是一個強大的跨平台框架，提供了可自訂的機器學習解決方案，適用於直播和串流媒體。它支援多種功能，包括計算機視覺、深度學習和音頻處理。mediapipe的優勢在於其高效率和可擴展性，使其成為各類應用程式的理想選擇。

C++★ 36.1k⑂ 6.1kai-ml

☆

DataV-Team/DataV

DataV：Vue数据可视化组件库 — DataV提供SVG的边框及装饰、图表、水位图、飞线图等组件，简单易用，长期更新。它的出现填补了Vue数据可视化领域的空白，帮助开发者快速构建数据可视化应用。同时，DataV的React版也已发布，扩大了其适用范围

Vue★ 9.7k⑂ 1.8kweb

☆

apache/shardingsphere

shardingsphere：分布式SQL數據庫解決方案 — shardingsphere是一個基於Java的分布式SQL數據庫中間件，支持多種數據庫，如MySQL、PostgreSQL等，提供數據分片、讀寫分離、分布式事務等功能，能夠有效提高數據庫的可擴展性和安全性。shardingsphere的設計目標是提供一個高性能、可靠和安全的數據管理平台，能夠支持各種大數據應用場景。通過使用shardingsphere，開發人員可以更容易地構建和管理大規模的數據庫系統

Java★ 20.8k⑂ 6.9kbackend

☆

google/langextract

langextract：結構化文本提取库 — langextract 是一个 Python 库，利用大型语言模型（LLMs）从非結構化文本中提取結構化信息。它具有精确的源基准和交互式可视化功能，能夠高效地从复杂文本中提取有用信息。该库在自然语言处理（NLP）领域具有重要意义，能够广泛应用于信息提取、数据分析等领域。

Python★ 37.1k⑂ 2.6kai-ml

☆

Openwrt-Passwall/openwrt-passwall

openwrt-passwall：路由器 cient 進階代理設定工具 — openwrt-passwall 是一個開源的路由器代理設定工具，旨在提供用戶一個簡單且強大的網路代理設定解決方案。它支持多種代理協議，包括 VPN 和 SSH 代理，同時也提供了豐富的配置選項和腳本支持。通過 openwrt-passwall，用戶可以輕鬆地設定和管理路由器的網路代理，保護用戶的網路安全和隱私

Lua★ 9.8k⑂ 3kother

☆

ramitsurana/awesome-kubernetes

awesome-kubernetes：精選的Kubernetes資源清單 — awesome-kubernetes提供了一個全面性的Kubernetes資源清單，包括雲端服務提供商、部署工具、監控工具等，幫助用戶快速找到所需的資源和工具。這個項目對於Kubernetes開發者和使用者來說非常重要，因為它能夠節省時間和提高效率。同時，awesome-kubernetes也在不斷更新和擴充，為用戶提供最新和最全面的Kubernetes資源。

Shell★ 16k⑂ 2.5kdevops

☆

andrewyng/context-hub

context-hub：內容集線器 — context-hub 是一個開源的 JavaScript 專案，旨在提供內容管理和集線功能，讓開發者能夠更容易地管理和整合不同的內容來源。這個專案使用 JavaScript 開發，提供了一個靈活和可擴展的解決方案，讓開發者能夠根據自己的需求進行自訂。同時，context-hub 也提供了一個強大的 API，讓開發者能夠更容易地與其他應用程式和服務進行整合

JavaScript★ 13.8k⑂ 1.2kweb

☆

dgraph-io/dgraph

dgraph：高效能圖形資料庫 — dgraph 是一個為即時使用案例設計的高性能圖形資料庫，使用 Go 語言開發。它能夠處理大量的資料和複雜的查詢，適用於各種需要實時資料處理的應用。dgraph 的分散式架構使其能夠水平擴展，滿足大規模應用的需求

Go★ 21.7k⑂ 1.6kbackend

☆

sinaptik-ai/pandas-ai

pandas-ai：使用LLMs和RAG进行数据分析 — pandas-ai通過LLMs和RAG技術，使得數據分析變得更加簡單和對話式。用戶可以通過聊天的方式與數據庫或數據湖進行交互，從而更容易地獲取所需的數據和信息。這項技術的應用有助於提高數據分析的效率和便捷性。

Python★ 23.6k⑂ 2.3kdata

☆

pulumi/pulumi

pulumi：基礎設施即程式碼 — pulumi是一個基礎設施即程式碼的平台，允許使用者使用自己熟悉的程式語言定義和管理基礎設施。它支援多種雲端服務提供者，包括aws、azure和gcp，並提供了一個簡單易用的API。這使得開發人員可以更容易地管理基礎設施和應用程式，提高了開發效率和減少了錯誤

Go★ 25.4k⑂ 1.4kdevops

☆

polarsource/polar

polar：軟體商業化解決方案 — polar 提供了一個完整的解決方案，讓軟體開發者可以輕鬆地將其產品變成商業化的數位產品。通過使用 polar，開發者可以專注於產品的開發和創新，而不需要擔心銷售和管理的複雜性。同時，polar 也提供了各種工具和服務來支援數位產品的銷售和管理，例如支付、訂閱和商務記錄等。

Python★ 10k⑂ 734web

☆

didi/KnowStreaming

KnowStreaming：雲原生實時流數據平台 — KnowStreaming是一個雲原生實時流數據平台，通過0侵入、插件化構建企業級Kafka服務，極大降低操作、存儲和管理實時流數據門檻。該平台提供了多集群管理、Kafka管理和監控等功能，幫助用戶更好地管理和利用實時流數據。KnowStreaming的出現使得企業可以更輕鬆地處理和分析實時流數據，從而獲得更多的商業價值

Java★ 7.2k⑂ 1.3kother

☆

tensorflow/tensorflow

tensorflow：開源機器學習框架 — tensorflow是一個開源的機器學習框架，提供了大量的工具和資源，讓開發者可以輕鬆地建構和部署機器學習模型。它支持多種編程語言，包括C++和Python，並提供了強大的深度學習和神經網路功能。因此，tensorflow已經成為機器學習領域中最受歡迎的框架之一

C++★ 196.3k⑂ 75.6kai-ml

☆

ArroyoSystems/arroyo

arroyo：分布式流處理引擎 — arroyo 是一個開源的分布式流處理引擎，使用 Rust 編寫，能夠支持多種數據源和目標，包括 Kafka 和 SQL。它提供了高性能和可擴展的流處理能力，適合於大數據和實時數據處理應用。arroyo 的設計目標是提供一個簡單、可靠和高效的流處理引擎，能夠滿足現代數據處理的需求

Rust★ 5k⑂ 366devops

☆

vercel-labs/portless

portless：穩定命名的本地URL替代端口號碼 — portless是一個開源工具，允許開發人員使用穩定命名的本地URL來訪問應用程式，減少了端口號碼的複雜性和混亂。這個工具對於人類和代理程式都很有用，可以簡化開發流程和提高生產力。通過使用portless，開發人員可以更容易地管理和維護複雜的應用程式

TypeScript★ 10k⑂ 322ai-ml

☆

kestra-io/kestra

kestra：事件驅動的任務關鍵應用程式編排與排程平台 — kestra是一個強大的事件驅動編排與排程平台，適用於任務關鍵應用程式。它提供了高可用性和低代碼的解決方案，幫助用戶簡化工作流程和資料管線的管理。通過kestra，用戶可以更容易地實現自動化、資料整合和工作流程優化

Java★ 27.4k⑂ 2.8ktools

☆