ktransformers：异构大模型推理与微调优化框架

项目摘要

ktransformers 是一个灵活的框架，旨在优化异构大语言模型的推理和微调过程。通过该框架，用户可以更高效地利用不同硬件资源，提升模型性能。