علوم رایانشی

علوم رایانشی

ایجاد مدل هوش مصنوعی بر پایه مبدل به‌منظور پاسخ به سؤالات از داده‌های بدون ساختار

نوع مقاله : مقاله پژوهشی

نویسندگان
1 دانشجوی کارشناسی ارشد، گروه مهندسی کامپیوتر، دانشکده و پژوهشکده رایانه شبکه و ارتباطات، دانشگاه جامع امام حسین(ع)، تهران، ایران
2 پژوهشگر گروه مهندسی کامپیوتر، دانشکده و پژوهشکده رایانه شبکه و ارتباطات، دانشگاه جامع امام حسین(ع)، تهران، ایران
3 استاد گروه مهندسی کامپیوتر، دانشکده و پژوهشکده رایانه شبکه و ارتباطات، دانشگاه جامع امام حسین(ع)، تهران، ایران
10.22034/csj.2024.197230
چکیده
به دنبال موفقیت‌های چشم‌گیر مدل‌های زبانی از پیش‌آموزش‌دیده و یادگیری انتقالی، اخیراً موج قابل‌توجهی از تحقیقات هوش مصنوعی در این حوزه انجام‌ شده است. مدل‌های زبانی یکی از مؤلفه‌های اساسی در پردازش زبان طبیعی هستند. این مدل‌ها تنها یک‌بار روی پیکره‌های بزرگ متنی به‌صورت خود ناظر آموزش‌دیده و سپس در حل مسایل  مختلف فهم زبانی مانند پاسخ‌ به پرسش، بسط متن و طبقه‌بندی متون به‌کارگیری می‌شوند. به‌کارگیری مبدل‌ها برای حل مسایل  گوناگون مستلزم فراهم نمودن سه پیش‌نیاز (مدل، مجموعه داده مناسب، استانداردهایی به‌منظور توصیف نحوه ارزیابی مدل) است. بررسی حجم بالای اسناد بدون ساختار که بیشتر در قالب متن هستند برای متخصصان امری دشوار است. از طرفی پاسخ به بسیاری از سؤالات تحقیق نیازمند بررسی حجم بالایی از متون است. در این پژوهش به‌منظور پاسخ به سؤالات از روی متون بدون ساختار در زمینه تحلیل امنیت شبکه‌های کامپیوتری سیستمی بر پایه هوش مصنوعی ارایه‌ شده است. سیستم مذکور بر پایه مبدل‌ها پیاده‌سازی شده و با زبان پایتون و در بن‌سازة گوگل کولب‌پرو کدنویسی و پیاده‌سازی شده است. این سیستم پس از آموزش روی پرسش و پاسخ‌های حوزه امنیت شبکه‌های کامپیوتری قادر به استخراج پاسخ سؤالات از متن بدون ساختار است. به‌منظور آموزش مدل یک مجموعه داده سفارشی به نام هوشفا توسعه داده‌ شده است که شامل 12.157 رکورد است. سیستم مذکور پس از ارزیابی دقت ارایه پاسخ در معیار تطبیق دقیق را بسته به نوع مدل پایه به میزان 20 تا 43 درصد و در معیار اف‌1 به میزان 8 تا 18 درصد بهبود بخشیده است. همچنین برای تعیین داده‌های مرتبط آموزشی برای آموزش مدل‌ها، سیستم پیشنهادی از یک مدل طبقه‌بندی داده‌ استفاده می‌کند. نمرات ارزیابی مدل طبقه‌بندی داده نتایج بالای80% در معیارهای اف1، پوشش و صحت را نشان داده است. همچنین نمرات ارزیابی تعیین داده‌های غیر مرتبط نتایج بالای 97% در معیارهای اف1، پوشش و صحت را نشان داده است.
کلیدواژه‌ها
موضوعات

[1]     M. A. Hassan, "Relational and NoSQL Databases: The Appropriate Database Model Choice," in 2021 22nd International Arab Conference on Information Technology (ACIT), 2021: IEEE, pp. 1-6.
[2]     A. Agarwal, C. Baechle, R. Behara, and X. Zhu, "A natural language processing framework for assessing hospital readmissions for patients with COPD," IEEE journal of biomedical and health informatics, vol. 22, no. 2, pp. 588-596, 2017.
[3]     N. N. Vo, S. Liu, X. Li, and G. Xu, "Leveraging unstructured call log data for customer churn prediction," Knowledge-Based Systems, vol. 212, p. 106586, 2021.
[4]     S. Crockett and C. Lee, "Does it Matter What They Said? A Text Mining Analysis of the State of the Union Addresses of USA Presidents," in 2012 13th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing, 2012: IEEE، pp. 77-82.
[5]     L. Tunstall,L. von Werra، and T. Wolf، Natural language processing with transformers. " O'Reilly Media، Inc.", 2022.
[6]     ParsiNLU, "ParsiNLU." [Online]. Available: https://github.com/persiannlp/parsinlu.
[7]     C. E. Shannon, "A mathematical theory of communication," The Bell system technical journal, vol. 27, no. 3, pp. 379-423, 1948.
[8]     A. M. Turing and J. Haugeland, "Computing machinery and intelligence," The Turing Test: Verbal Behavior as the Hallmark of Intelligence, pp. 29-56, 1950.
[9]     O. Kolomiyets and M.-F. Moens, "A survey on question answering technology from an information retrieval perspective," Information Sciences، vol. 181, no. 24, pp. 5412-5434, 2011.
[10]   A. Vaswani et al., "Attention is all you need," Advances in neural information processing systems, vol. 30، 2017.
[11]   J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "Bert: Pre-training of deep bidirectional transformers for language understanding," arXiv preprint arXiv:1810.04805، 2018.
[12]   A. M. Dai and Q. V. Le, "Semi-supervised sequence learning," Advances in neural information processing systems، vol. 28، 2015.
[13]   K. Darvishi, N. Shahbodagh, Z. Abbasiantaeb, and S. Momtazi, "PQuAD: A Persian Question Answering Dataset," arXiv preprint arXiv:2202.06219، 2022.
[14]   J. Duan, H. Zhao, Q. Zhou, M. Qiu, and M. Liu, "A study of pre-trained language models in natural language processing," in 2020 IEEE International Conference on Smart Cloud (SmartCloud), 2020: IEEE, pp. 116-121.
[15]   S. Singh and A. Mahmood, "The NLP cookbook: modern recipes for transformer based deep learning architectures, " IEEE Access, vol. 9, pp. 68675-68702, 2021.
[16]   Y. E. Seyyar, A. G. Yavuz, and H. M. Ünver, "An attack detection framework based on BERT and deep learning, " IEEE Access, vol. 10, pp. 68633-68644, 2022.
[17]   M. Farahani, M. Gharachorloo, M. Farahani، and M. Manthouri, "Parsbert: Transformer-based model for persian language understanding," Neural Processing Letters، vol. 53, no. 6, pp. 3831-3847, 2021.
[18]   E. Taher, S. A. Hoseini، and M. Shamsfard, "Beheshti-NER: Persian named entity recognition Using BERT," arXiv preprint arXiv:2003.08875, 2020.
[19]   A. Khashei, "Bolbol-Zaban." [Online]. Available: http://www.bolbolzaban.com/.
[20]   M. Tanvirul Alam, D. Bhusal, Y. Park, and N. Rastogi, "CyNER: A Python Library for Cybersecurity Named Entity Recognition, " arXiv e-prints، p. arXiv: 2204.05754, 2022.
[21]   Y. Guo, J. Liu، W. Tang, and C. Huang, "Exsense: Extract sensitive information from unstructured data, " Computers & Security، vol. 102، p. 102156, 2021.
[22]   W. Zhuang, "Architecture of Knowledge Extraction System based on NLP," in 2021 International Conference on Aviation Safety and Information Technology,2021, pp. 294-297.