<aside> 💡 近年来，人工智能已逐渐在日常生活、工业生产中发挥着至关重要的作用。然而，这些人工智能应用背后的深度学习模型真实世界中部署和推理的时候，会面临推理环境与训练环境之间环境异构的挑战，主要包括，计算资源的差异、数据分布的差异等，这极大的限制了智能应用的低延迟、高性能的需求。

这个页面总结了清华大学深圳国际研究生院王智教授课题组在模型部署与微调小组方向已完成的课题，并由模型部署与微调小组小组维护。若对我们的工作感兴趣，欢迎通过以下方式联系我们：

</aside>

✉️ 联系方式：

• 王智 副教授（清华大学深圳国际生院）：
  • 个人主页：https://www.mmlab.top/
  • 邮箱：[email protected]
• 蒋沁廷：
  • 邮箱：[email protected]
• 姜婧妍 ：
  • 邮箱： [email protected]

研究方向概览

本小组的具体研究方向分为两个部分：

• （大）模型泛化与微调
  • 测试时模型自适应推理（Test-time Adaptation）
  • 联邦微调（Quantization-aware Parameter-efficient Fine-tuning）
  • 大模型参数融合
• （大）模型高效训练、部署与推理优化（）
  • 神经网络设计（Neural Architecture Design）：使用自动机器学习的方法进行硬件感知的轻量化模型设计，兼顾效率与准确率
  • 部署友好的模型优化（Deployment-friendly Optimization）：对模型进行高效量化、剪枝、微调，加强其可用性

实习生概览

近期工作

（大）模型泛化与微调：

• bert2bert: Towards reusable pretrained language models**,** ACL, 2022.
  • Paper: bert2BERT: Towards Reusable Pretrained Language Models | PDF (arxiv.org)
  • 通过重用小模型的训练参数来初始化大模型，探索了高效预训练的新方向，并在语言模型上成功扩展了函数预服务方法，进一步提出了高级知识初始化方法，可以有效地将小模型的知识迁移到大模型，提高BERT、GPT等模型的预训练效率。效果：通过重用几乎一半大小的模型，节省了预训练BERT Base和GPT Base约45%和47%的计算成本。

• DATTA: Towards Distribution Adaptive Test-Time Adaptation in Dynamic Wild World***, CoRR, 2022***
  • Paper: Fully Self-Supervised Learning for Semantic Segmentation | PDF (arxiv.org)
  • 我们为全自监督语义分割任务设计了一种新颖有效的训练管线，对广泛开放世界的识别场景具有很大的实用价值。具体来言，我们提出了一种新颖的上下文感知嵌入模块，该模块同时利用语义特征和原始图像特征来改进特征，并找到了一种非平凡的方法来避免在使用原始特征时出现坍缩结果。

1. Introduction