📢
gitzw.com上线了,功能陆续更新中,如有问题或反馈请在下方反馈/建议中给我们留言。
✕
读懂开源,从这里开始
首页
排行榜
教程中心
知识库
资讯
分类
专题合集
🌙
简
▾
简体
繁體
English
登录
用户中心
▾
👤 用户中心
📬 我的订阅
✉️ 我的邮箱
🔑 修改密码
⭐ 我的收藏
💬 我的反馈记录
↩ 退出
订阅
☰
首页
排行榜
教程中心
知识库
资讯
分类
专题合集
搜索
订阅
RSS
简体
繁體
English
🔍
搜索
📡
RSS
🔥 热门搜索
llm
vuejs
pytorch
sql
langchain
leetcode
graphql
redis
tokio
peg
php8
unity
"数据管道"
📖 知识库
数据工程
★★★★★
★★★★★
高级
数据工程是一种专注于设计、构建和维护数据管道和架构的工程学科,旨在高效地处理和分析大量数据,通常使用大数据技术、云计算和机器学习等方法,数据工程师通过设计和实现数据仓库、数据湖和数据集成系统等解决方案来支持业务决策和数据驱动的应用,数据工程的目标是提供可靠、可扩展和高性能的数据系统,以满足组织的数据需求,数据工程涉及数据架构、数据质量、数据安全和数据治理等多个方面,需要数据工程师具备编程语言、数据结构和算法等技术技能,以及对业务需求和数据分析有深入的理解,数据工程在各个行业中都有广泛的应用,包括金融、医疗、电子商务等,通过数据工程,可以实现数据的高效处理和分析,支持业务决策和创新,数据工程也是人工智能和机器学习的基础,提供了数据支持,数据工程师需要不断学习和更新技能,以适应快速变化的技术和业务需求,数据工程的发展也推动了数据科学和人工智能的进步,数据工程是数据驱动应用的核心组成部分,数据工程师需要与数据科学家、产品经理和业务分析师等多个角色合作,共同实现数据驱动的业务目标,数据工程的未来发展将更加注重云原生、服务器less和实时数据处理等技术,数据工程师需要具备很强的技术能力和业务理解能力,数据工程是支持业务决策和创新的一种关键技术,数据工程师需要不断提高自己的技能和知识,以适应快速变化的技术和业务需求,数据工程的应用前景广阔,包括数据分析、机器学习、人工智能等多个领域,数据工程师需要具备很强的学习能力和适应能力,数据工程是数据驱动应用的基础,数据工程师需要与其他角色合作,共同实现业务目标,数据工程的发展将推动数据科学和人工智能的进步,数据工程是支持业务决策和创新的一种关键技术,数据工程师需要不断提高自己的技能和知识,以适应快速变化的技术和业务需求,数据工程的未来发展将更加注重云原生、服务器less和实时数据处理等技术,数据工程师需要具备很强的技术能力和业务理解能力,数据工程是数据驱动应用的核心组成部分,数据工程师需要与数据科学家、产品经理和业务分析师等多个角色合作,共同实现数据驱动的业务目标,数据工程的应用前景广阔,包括数据分析、机器学习、人工智能等多个领域,数据工程师需要具备很强的学习能力和适应能力,数据工程是数据驱动应用的基础,数据工程师需要与其他角色合作,共同实现业务目标,数据工程的发展将推动数据科学和人工智能的进步,数据工程是支持业务决策和创新的一种关键技术,数据工程师需要不断提高自己的技能和知识,以适应快速变化的技术和业务需求,数据工程的未来发展将更加注重云原生、服务器less和实时数据处理等技术,数据工程师需要具备很强的技术能力和业务理解能力,数据工程是数据驱动应用的核心组成部分,数据工程师需要与数据科学家、产品经理和业务分析师等多个角色合作,共同实现数据驱动的业务目标,数据工程的应用前景广阔,包括数据分析、机器学习、人工智能等多个领域,数据工
Data Engineering
★★★★★
★★★★★
进阶
数据工程是指设计、构建、维护和运用数据管道和架构的过程,旨在高效地处理和分析大量数据,支持业务决策和数据驱动的应用开发。数据工程师负责设计和实现数据仓库、数据湖、数据集成和数据处理系统,确保数据的质量、安全和可用性。数据工程涉及数据架构、数据建模、数据处理、数据存储和数据安全等多个方面,需要综合应用计算机科学、软件工程和数据科学的知识和技能。随着大数据和人工智能的发展,数据工程在支持业务智能、数据分析和机器学习应用方面发挥着越来越重要的作用。数据工程的目标是提供一个可靠、可扩展和高性能的数据基础设施,支持组织的数据驱动决策和创新。
📦 开源项目
vectordotdev
/
vector
vector:高性能可观测性数据管道 — vector是一个高性能的可观测性数据管道,能够处理和转换大量的日志、指标和追踪数据。它使用Rust语言开发,具有高性能、可靠性和可扩展性。vector能够与多个数据源和目标集成,包括Datadog、云原生环境等,提供实时的数据处理和分析能力。
Rust
★ 22.2k
⑂ 2.2k
devops
☆
airbytehq
/
airbyte
airbyte:开源数据移动平台 — airbyte是一个开源数据移动平台,支持ELT管道和AI代理,从API、数据库和文件到仓库、数据湖和AI应用。它提供了自托管和云端部署的选项,支持多种数据源和目标,包括BigQuery、MySQL、PostgreSQL等。airbyte的目的是简化数据集成和移动,提高数据分析和AI应用的效率。
Python
★ 21.6k
⑂ 5.3k
data
☆
alibaba
/
druid
druid:数据库连接池 — druid是一个Java库,用于创建数据库连接池,能够监控和管理数据库连接,提高系统的稳定性和性能。它支持多种数据库,包括MySQL、Oracle和PostgreSQL等。druid的设计目的是为了提供一个高性能、可靠的数据库连接池,帮助开发者更好地管理数据库资源
Java
★ 28.2k
⑂ 8.6k
other
☆
flyway
/
flyway
flyway:数据库迁移工具 — flyway通过提供简单易用的API和命令行工具,帮助开发人员和数据库管理员轻松管理数据库schema和数据迁移。它支持多种数据库管理系统,包括MySQL、PostgreSQL和SQL Server等。flyway的主要目的是简化数据库迁移过程,提高开发效率和数据安全性
Java
★ 9.9k
⑂ 1.6k
backend
☆
didi
/
KnowStreaming
KnowStreaming:云原生实时流数据平台 — KnowStreaming是一个基于Java的云原生实时流数据平台,能够极大降低操作、存储和管理实时流数据的门槛。它通过0侵入、插件化构建企业级Kafka服务,提供了高可用性和可扩展性的解决方案。KnowStreaming的出现使得企业能够更容易地处理和管理实时流数据,从而获得更好的商业洞察力和竞争优势
Java
★ 7.2k
⑂ 1.3k
other
☆
PrefectHQ
/
prefect
prefect:工作流管道编排框架 — prefect 是一个工作流编排框架,用于构建强健的数据管道。它可以帮助用户在 Python 中创建和管理复杂的工作流。prefect 的目标是提供一个灵活、可靠和可扩展的解决方案,以满足数据管道的需求
Python
★ 23.3k
⑂ 2.4k
backend
+66 ★
☆
bregman-arie
/
devops-exercises
devops-exercises:DevOps 面试题练习 — devops-exercises 项目为 DevOps 工程师提供了丰富的练习题和面试题,涵盖了从 Linux 到 Kubernetes、Terraform 等多个技术领域。通过这些练习和面试题,可以帮助工程师提高技能和应对面试的能力。同时,项目还涉及了 Python、Ansible、Git 等多种技术,非常适合 DevOps 工程师的学习和实践
Python
★ 83.1k
⑂ 19.7k
devops
☆
apache
/
shardingsphere
shardingsphere:分布式SQL数据库解决方案 — shardingsphere能够为用户提供一个统一的数据访问接口,支持MySQL、PostgreSQL等多种数据库,实现数据分片、读写分离和分布式事务等功能。同时,shardingsphere还提供了数据加密和安全性等功能,能够满足用户的数据安全需求。通过使用shardingsphere,用户可以轻松实现分布式数据库的构建和管理。
Java
★ 20.8k
⑂ 6.9k
backend
☆
bitwarden
/
server
server:Bitwarden 基础设施/后端 — server 是 Bitwarden 的核心组件,提供 API、数据库和 Docker 等功能,用于管理和存储密码和敏感信息。它使用 C# 编写,基于 ASP.NET Core 框架,支持 SignalR 和 SQL Server。server 的设计目的是提供安全、可靠和高性能的密码管理服务。
C#
★ 19.4k
⑂ 1.7k
backend
☆
pathwaycom
/
llm-app
llm-app:云模板和实时数据集成 — llm-app 通过提供 Docker 友好型的云模板,实现了与 Sharepoint、Google Drive、S3、Kafka、PostgreSQL 等的实时数据同步。该项目支持 RAG、AI 流水线和企业搜索,具有广泛的应用前景。同时,llm-app 与多个流行的机器学习库和框架进行了集成,包括 Hugging Face 和 Open AI。
Jupyter Notebook
★ 59.1k
⑂ 1.4k
ai-ml
☆
ArroyoSystems
/
arroyo
arroyo:分布式流处理引擎 — arroyo 是一个分布式流处理引擎,能够处理大规模数据流,支持 Kafka、SQL 等多种数据源和处理方式。其使用 Rust 编写,具有高性能和可靠性。arroyo 的设计目标是提供一个高效、可扩展和易于使用的流处理解决方案
Rust
★ 5k
⑂ 366
devops
☆
andrewyng
/
context-hub
context-hub:上下文中心库 — context-hub提供了一个简单的方式来管理和共享上下文数据,使得开发者可以更容易地构建复杂的Web应用。它通过提供一个统一的接口来访问和更新上下文数据,从而简化了应用的开发和维护。同时,context-hub也支持多种数据存储和缓存机制,提高了应用的性能和可扩展性
JavaScript
★ 13.8k
⑂ 1.2k
web
☆
google-ai-edge
/
mediapipe
mediapipe:跨平台可定制的机器学习解决方案 — mediapipe是一个开源框架,提供跨平台、可定制的机器学习解决方案,用于处理直播和流媒体数据。它支持多种平台,包括Android和iOS,能够处理音频和视频数据。mediapipe的主要特点包括计算机视觉、深度学习和流媒体处理等。
C++
★ 36.1k
⑂ 6.1k
ai-ml
☆
netdata
/
netdata
netdata:AI驱动的全栈可观测性监控 — netdata是一个开源的监控系统,使用AI和机器学习技术提供全栈可观测性解决方案。它支持多种数据源,包括MySQL、PostgreSQL、MongoDB等,并提供实时数据可视化和告警功能。netdata的快速部署和易用性使其成为DevOps和监控领域的热门选择。
Go
★ 79.6k
⑂ 6.5k
devops
☆
semaphoreui
/
semaphore
semaphore:现代UI和强大的DevOps工具API — semaphore提供了一个统一的界面来管理和自动化DevOps工具,支持多种工具和平台,帮助开发人员提高效率和生产力。semaphore的现代UI和强大的API使其成为DevOps团队的理想选择。semaphore支持多种CI/CD工具,如Jenkins和Docker。
Go
★ 13.9k
⑂ 1.3k
devops
☆
calcom
/
cal.diy
cal.diy:开放式日程安排基础设施 — cal.diy 是一个使用 TypeScript 编写的开源项目,提供了一个强大的日程安排基础设施,支持多种技术栈,包括 Next.js、PostgreSQL、Prisma 等。它的设计目标是为所有人提供一个易于使用和扩展的日程安排解决方案,从而提高生产力和效率。通过使用 cal.diy,开发者可以快速构建自己的日程安排应用程序。
TypeScript
★ 46.4k
⑂ 14.4k
web
☆
pulumi
/
pulumi
pulumi:云基础设施即代码平台 — pulumi允许用户使用熟悉的编程语言定义和管理云基础设施,支持AWS、Azure、GCP等主流云平台。通过pulumi,用户可以简化基础设施管理,提高效率和可靠性。同时,pulumi还支持Kubernetes、Serverless等现代化技术栈
Go
★ 25.4k
⑂ 1.4k
devops
☆
tensorflow
/
tensorflow
tensorflow:开源机器学习框架 — tensorflow是一个开源的机器学习框架,提供了广泛的工具和资源,用于构建和训练机器学习模型。它支持多种编程语言,包括C++和Python,并提供了分布式训练和部署的能力。tensorflow在深度学习和神经网络领域具有广泛的应用和影响力
C++
★ 196.3k
⑂ 75.6k
ai-ml
☆
jenkinsci
/
jenkins
jenkins:自动化服务器 — jenkins是一个开源的自动化服务器,支持持续集成和持续部署,帮助开发者提高效率和质量。它提供了丰富的插件和脚本支持,包括Groovy等。jenkins在DevOps领域中发挥着重要作用
Java
★ 25.7k
⑂ 9.7k
devops
☆
DataTalksClub
/
data-engineering-zoomcamp
data-engineering-zoomcamp:数据工程实战课程 — data-engineering-zoomcamp 是一个免费的在线课程,涵盖了数据工程的各个方面,包括 dbt、docker、kafka、kestra 和 spark 等技术。通过这个课程,学员可以学习如何构建生产级数据管道,并获得实践经验。该课程每年一期,下一期将于 2026 年 1 月开始。
Jupyter Notebook
★ 43.5k
⑂ 8.6k
data
☆
cloudflare
/
pingora
pingora:构建快速可靠网络服务库 — pingora是一个使用Rust编写的库,用于构建快速、可靠和可演化的网络服务。它提供了一种简单的方式来构建和管理网络服务,能够提高服务的性能和可靠性。通过使用pingora,开发者可以更容易地构建和维护大规模的网络服务。
Rust
★ 27k
⑂ 1.7k
other
☆
DataV-Team
/
DataV
DataV:Vue数据可视化组件库 — DataV是一个Vue数据可视化组件库,提供了丰富的组件,包括SVG的边框及装饰、图表、水位图、飞线图等。它的设计初衷是提供一个简单易用的数据可视化解决方案,帮助开发者快速搭建大屏数据展示。同时,DataV长期更新,确保用户能够获得最新的功能和组件。
Vue
★ 9.7k
⑂ 1.8k
web
☆
milanm
/
DevOps-Roadmap
DevOps-Roadmap:2026 DevOps 学习路线图 — DevOps-Roadmap 是一个为 2026 年制定的学习路线图,旨在帮助开发者掌握 DevOps 的相关知识和技能。通过这个路线图,开发者可以学习到 AWS、Azure、Kubernetes、Docker 等技术,并了解持续集成和持续交付的流程。这个项目对于想要提升 DevOps 水平的开发者来说非常有价值
★ 19.9k
⑂ 3.4k
devops
☆
ramitsurana
/
awesome-kubernetes
awesome-kubernetes:Kubernetes 资源列表 — awesome-kubernetes 提供了一个关于 Kubernetes 的资源列表,包括云提供商、部署工具、监控工具等,帮助开发者和运维人员更好地使用 Kubernetes。这个列表是社区驱动的,包含了许多有用的资源和工具。同时,它也提供了一个很好的学习和参考资料。
Shell
★ 16k
⑂ 2.5k
devops
☆
dragonflydb
/
dragonfly
dragonfly:现代内存数据库 — dragonfly是一个高性能的内存数据库,旨在替代传统的Redis和Memcached。它使用C++编写,支持多线程、键值存储和消息队列等功能。通过dragonfly,开发者可以构建更快、更可靠的数据存储系统。
C++
★ 30.9k
⑂ 1.2k
backend
☆
dolthub
/
dolt
dolt:数据版本控制系统 — dolt是一个使用Go语言开发的数据版本控制系统,提供类似于Git的功能,但专门用于数据存储和管理。它支持SQL查询、数据版本控制和数据库版本控制等功能。dolt的出现填补了数据版本控制的空白,帮助开发者更好地管理和追踪数据变化
Go
★ 23.8k
⑂ 830
backend
☆
rcourtman
/
Pulse
Pulse:实时监控和AI洞察 — Pulse提供了实时监控和AI驱动的洞察,帮助用户快速发现和解决问题。它支持多种平台,包括Proxmox、Docker和Kubernetes,提供智能告警和统一的仪表盘。通过使用Pulse,用户可以提高系统的可靠性和性能
Go
★ 6k
⑂ 241
devops
☆
streamlit
/
streamlit
streamlit:快速构建和分享数据应用的工具 — streamlit是一个开源的Python库,允许数据科学家和开发人员快速构建和分享数据应用。它提供了一个简单的API,用于创建交互式的数据可视化和机器学习模型。通过使用streamlit,用户可以更快地构建和分享数据应用,从而提高数据分析和科学研究的效率
Python
★ 45.2k
⑂ 4.3k
ai-ml
☆