课题安排

• **题目：**下面课题列表中，选择一个课题独立完成；
• **周期：**课题完成周期通常为30天（自布置日期算），参与申请的候选人原则上需来深/远程实习15天以上；
• 提交：
  • 提交方式：报告和邮件命名为，学校-姓名-课题-日期（例如：北航-张三-课题2动态神经网络-20200530），发送邮件给：[email protected]；
  • 课题完成后进行形成课题报告（作为面试的重要参考材料）；
  • 组内面试：20分钟课题总结PPT，考察计算机、数学能力；

备选课题

1. 自拟课题

• 如果申请者已有研究课题，并具备一定的科研基础，根据自己研究情况，可以选择自拟一个研究课题（方向须与多媒体、边缘计算、机器学习相关）
• 要求参考以下课题

2. 分布式机器学习方向

课题：分布式数据并行训练（或联邦学习）中的异步训练算法

参考文献：

[1] Alistarh, D., Grubic, D., Li, J., Tomioka, R., & Vojnovic, M. (2017). QSGD: Communication-efficient SGD via gradient quantization and encoding. Advances in Neural Information Processing Systems, 30, 1709-1720.

[2] Koloskova, A., Stich, S. U., & Jaggi, M. (2022). Sharper convergence guarantees for asynchronous SGD for distributed and federated learning. Advances in Neural Information Processing Systems, 35, 17202-17215.

[3] Stich, S. U. (2020). On communication compression for distributed optimization on heterogeneous data. arXiv preprint arXiv:2009.02388.

[4] Stich, S. U., Cordonnier, J.-B., & Jaggi, M. (2018). Sparsified SGD with Memory. arXiv:1809.07599. Retrieved September 01, 2018, from https://ui.adsabs.harvard.edu/abs/2018arXiv180907599S

[5] Vogels, T., Karimireddy, S. P., & Jaggi, M. (2019). PowerSGD: Practical low-rank gradient compression for distributed optimization. Advances in Neural Information Processing Systems, 32.

[6] Zhu, L., Lin, H., Lu, Y., Lin, Y., & Han, S. (2021). Delayed Gradient Averaging: Tolerate the Communication Latency for Federated Learning. Advances in Neural Information Processing Systems, 34.

[7] Xu, Hang, et al. Compressed communication for distributed deep learning: Survey and quantitative evaluation. 2020.