近日，我校信息学部计算机与信息学院水利大数据研究所在新型软件质量保障方面取得进展，提出了一种基于莱维飞行的自适应粒子群优化自动测试方法LEAP来生成对抗性测试用例。
该研究聚焦于自然语言处理类DNN (Deep Neural Networks)软件的鲁棒性需求急剧增长的问题，分析了现有自动化测试技术的两个限制：错误挖掘能力不足和测试效率低下。为此，提出了一种基于莱维飞行的自适应粒子群优化自动测试方法LEAP来生成对抗性测试用例。采用莱维飞行进行总体初始化，以增加生成的测试用例的多样性；为提高LEAP对高维文本样本的全局优化效率，设计了惯性权值自适应更新算子；为减少测试时间，设计了基于贪心策略的突变算子。实验结果表明，LEAP具有更强的错误挖掘能力，与同类方法相比时间开销更低，生成的测试用例具有更好的可迁移性，并显著提高了系统的鲁棒性。
图1 NLP对抗性测试用例在军事情报分析场景中的应用
图2 LEAP总体流程图
图3 LEAP及基线方法生成测试用例的实验结果
该研究成果以 “LEAP: Efficient and Automated Test Method for NLP Software”为题，被A类国际会议the 38th IEEE/ACM International Conference on Automated Software Engineering (ASE 2023)正式接收，LD乐动体育app水利大数据研究所的张鹏程教授为该论文的通讯作者，第一作者为LD乐动体育app博士研究生肖明轩，其他作者包括中山大学肖艳副教授、墨尔本Royal Melbourne Institute of Technology (RMIT)大学董海高级讲师和LD乐动体育app吉顺慧副教授。这是也LD乐动体育app博士生为第一作者和LD乐动体育app为第一单位的首篇软件工程方向CCF推荐A类国际会议。
近年来，在国家自然科学基金联合项目（重点支持类）、国家自然科学基金面上项目和江苏省自然科学基金等项目的资助下，张鹏程教授团队在智能软件、区块链和边缘服务等新型软件的质量保障方面取得重要进展，在CCF推荐A类国际学术期刊和会议上发表8篇高水平论文。
相关研究成果：
Xiao, M., Xiao, Y., Dong, H., Ji, S., Zhang, P.*. LEAP: Efficient and Automated Test Method for NLP Software. Proceedings of the 38th IEEE/ACM International Conference on Automated Software Engineering, 2023.
(1) Zhang, P.*, Yu, Q., Xiao, Y., Dong, H., Luo, X., Wang, X., and Zhang, M. BiAn: Smart Contract Source Code Obfuscation. IEEE Transactions on Software Engineering, 2023, Early Access: 1-21.
(2) Zhang, P.*, Ren, B., Dong, H., and Dai, Q. CAGFuzz: Coverage-Guided Adversarial Generative Fuzzing Testing for Image-based Deep Learning Systems. IEEE Transactions on Software Engineering, 2022, 48(11): 4630-4646.
(3) Zhang, P.*, Jin, H., Dong, H., Song, W., and Bouguettaya, A. Privacy-Preserving QoS Forecasting in Mobile Edge Environments. IEEE Transactions on Services Computing, 2022, 15(2): 1103-1117.
(4) Zhang, P.*, Jin, H., Dong, H., and Song, W. M-BSRM: Multivariate bayesian runtime QoS monitoring using point mutual information. IEEE Transactions on Services Computing, 2022, 15(1), 484-497.
(5) Zhang, P.*, Jin, H., Dong, H., Song, W., and Wang, L. LA-LMRBF: Online and Long-term Web Service QoS Forecasting. IEEE Transactions on Services Computing, 2021, 14(6), 1809-1823.
(6) Jin, H., Zhang, P.*, Dong, H., Zhu, Y., and Bouguettaya, A. Privacy-Aware Forecasting of Quality of Service in Mobile Edge Computing. IEEE Transactions on Services Computing, DOI: 10.1109/TSC.2021.3137452.
(7) Jin H., Zhang P.*, Dong H., Wei X., Zhu Y., and Gu T. Mobility-aware and Privacy-protecting QoS Optimization in Mobile Edge Networks. IEEE Transactions on Mobile Computing, DOI: 10.1109/TMC.2022.3230856.
