علوم رایانشی

علوم رایانشی

بازشناسی و مرتبط‌سازی موجودیت‌های نام‌دار در سند احادیث

نوع مقاله : مقاله پژوهشی

نویسندگان
محمد ایزدی 1
عارف صادقیان 2
1 دانشیار، دانشکده مهندسی کامپیوتر- دانشگاه صنعتی شریف- تهران- ایران
2 دانشجو، دانشکده مهندسی کامپیوتر- دانشگاه صنعتی شریف- تهران- ایران
10.22034/csj.2024.209868
چکیده
مسئلة بازشناسی موجودیت‌های نام‌دار در متنی از یک زبان طبیعی، این نیازمندی است که درون متن، بخش‌هایی که حاوی اسامی خاص هستند را پیدا کنیم. علاوه بر این، مرتبط‌سازی این موجودیت‌های نام‌دار عبارتست از این که برای هر اسم خاص مشخص شده درون آن متن، مقصود یا مدلول آن اسم در جهان واقع را مشخص کنیم به گونه‌ای که اسامی یکسان یا مشابه اما با مدلول‌های متفاوت، کاملا از یکدیگر متمایز شوند. در این مقاله، شیوه بازشناسی موجودیت‌های نام‌دار در سند احادیث و هم‌چنین مرتبط‌سازی این اسامی با شناسة منحصربه‌فرد افراد تشریح می‌شود. بازشناسی با استفاده از آموزش مدل پیش‌آموختة AraBERTv02 روی دادگان CANERCorpus صورت می‌گیرد که با تخصیص دادگان به نسبت 8/0 به 2/0 برای دادگان آموزش و آزمون، میزان دقت (accuracy) مساوی 990/0 در دسته‌بندی صحیح کلمات متعلق به دستة اشخاص حاصل می‌شود.
مرتبط‌سازی با استفاده از روش‌های یادگیری مبتنی بر گراف انجام می‌شود. با مدل کردن یک دسته از سند احادیث به صورت یک گراف (در واقع یک جنگل) که سند هر حدیث به صورت یک درخت از گره‌هایی است که متناظر با افراد هستند، می‌توان مسئله را به صورت پیش‌بینی برچسب برای گره‌ها تعریف کرد. به این ترتیب یک شبکة هم‌آمیخت گرافی (GCN) معرفی می‌شود که سعی دارد تا این برچسب را براساس شکل ظاهری افراد پیرامونی هر فرد پیش‌بینی کند. این شبکه می‌تواند با آموزش روی 8/0 از دادگان، به دقت میزان دقت (accuracy) مساوی 8570/0 برسد.
کلیدواژه‌ها
علوم انسانی محاسباتی
بازشناسی موجودیت‌های نام‌دار
مرتبط‌سازی موجودیت‌های نام‌دار
مدل‌های بزرگ زبانی
شبکه‌های هم‌آمیخت گرافی
موضوعات
  1. Qu, Y. Gu, Q. Xia, Z. Li, Z. Wang, and B. Huai. A survey on arabic named entity recognition: Past, recent advances, and future trends. IEEE Transactions on Knowledge and Data Engineering, pages 1–18, 2023.
  2. Shaalan and H. Raza. Nera: Named entity recognition for arabic. Journal of the American Society for Information Science and Technology, 60(8):1652–1663, 2009
  3. Abdallah, K. Shaalan, and M. Shoaib. Integrating rule-based system with clas sification for arabic named entity recognition. In International Conference on Intelligent Text Processing and Computational Linguistics, pages 311–322, 2012.
  4. Abuleil and M. Evens. Extracting names from arabic text for question-answering systems. In RIAO, pages 638–647, 2004.
  5. Maloney and M. Niv. Tagarab: a fast, accurate arabic name recognizer using high-precision morphological analysis. In Computational approaches to Semitic languages, 1998.
  6. Buckwalter. Issues in arabic orthography and morphology analysis. In Proceed ings of the workshop on computational approaches to Arabic script-based languages, pages 31–34, 2004.
  7. Oudah and K. Shaalan. A pipeline arabic named entity recognition using a hybrid approach. In Proceedings of COLING 2012, pages 2159–2176, 2012.
  8. Benajiba, P. Rosso, and J. M. Bened´ıruiz. Anersys: An arabic named entity recognition system based on maximum entropy. In International Conference on Intelligent Text Processing and Computational Linguistics, pages 143–153, 2007
  9. Benajiba and P. Rosso. Arabic named entity recognition using conditional random fields. In Proc. of Workshop on HLT & NLP within the Arabic World, LREC, volume 8, pages 143–153, 2008.
  10. Hastie, R. Tibshirani, J. H. Friedman, and J. H. Friedman. The elements of statistical learning: data mining, inference, and prediction, volume 2. Springer, 2009
  11. Gridach. Deep learning approach for arabic named entity recognition. Inter national Journal of Computer Applications, 2016.
  12. Zhao, Y. Shen, and J. Yao. Recurrent neural network for text classification with hierarchical multiscale dense connections. In IJCAI, pages 5450–5456, 2019.
  13. C.-W. Lin, Y. Shao, Y. Djenouri, and U. Yun. Asrnn: A recurrent neural network with an attention model for sequence labeling. Knowledge-Based Systems, 212:106548, 2021.
  14. N. A. Ali, G. Tan, and A. Hussain. Bidirectional recurrent neural network approach for arabic named entity recognition. Future Internet, 10(12), 2018.
  15. Huang, W. Xu, and K. Yu. Bidirectional lstm-crf models for sequence tagging. In arXiv preprint arXiv:1508.01991, 2015.
  16. Gridach. Character-aware neural networks for arabic named entity recognition for social media. In Proceedings of the 6th Workshop on South and Southeast Asian Natural Language Processing (WSSANLP2016), pages 23–32, 2016.
  17. Darwish. Named entity recognition using cross-lingual resources: Arabic as an example. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1558–1567, 2013.
  18. Antoun, F. Baly, and H. Hajj. Arabert: Transformer-based model for arabic language understanding. arXiv preprint arXiv:2003.00104, 2020.
  19. Alsaaran and M. AlRabiah. Classical arabic named entity recognition using variant deep neural network architectures and bert. IEEE Access, 9:91 537–91 547, 2021.
  20. Shen, Y. Yin, Y. Yang, J. Han, J. Wang, and X. Yuan. Toward tweet entity linking with heterogeneous information networks. TKDE, 2021.
  21. Cucerzan. Large-scale named entity disambiguation based on wikipedia data. In EMNLP-CoNLL, pages 708–716, 2007
  22. Varma, P. Pingali, R. Katragadda, S. Krishna, S. Ganesh, K. Sarvabhotla, H. Garapati, H. Gopisetty, V. B. Reddy, K. Reddy, and et al. Iiit hyderabad at tac 2009. In Text Analysis Conference 2009 Workshop, 2009.
  23. Chen and H. Ji. Collaborative ranking: A case study on entity linking. In EMNLP, pages 771–781, 2011.
  24. Ratinov, D. Roth, D. Downey, and M. Anderson. Local and global algorithms for disambiguation to wikipedia. In ACL, pages 1375–1384, 2011.
  25. Shen, J. Han, J. Wang, X. Yuan, and Z. Yang. Shine+: A general framework for domain-specific entity linking with heterogeneous information networks. TKDE, 30(2):353–366, 2017
  26. Hoffart, M. A. Yosef, I. Bordino, H. Fürstenau, M. Pinkal, M. Spaniol, B. Taneva, S. Thater, and G. Weikum. Robust disambiguation of named enti ties in text. In EMNLP, pages 782–792, 2011
  27. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient estimation of word representations in vector space. In ICLR, 2013
  28. Pennington, R. Socher, and C. D. Manning. Glove: Global vectors for word representation. In EMNLP, pages 1532–1543, 2014.
  29. -E. Ganea and T. Hofmann. Deep joint entity disambiguation with local neural attention. In EMNLP, pages 2619–2629, 2017.
  30. Zwicklbauer, C. Seifert, and M. Granitzer. Robust and collective entity disam biguation through semantic embeddings. In SIGIR, pages 425–434, 2016.
  31. Hou, R. Wang, J. He, and Y. Zhou. Improving entity linking through semantic reinforced entity embeddings. In ACL, pages 6843–6848, 2020.
  32. Hu, J. Ding, C. Shi, C. Shao, and S. Li. Graph neural entity disambiguation. KBS, 195:105620, 2020.
  33. Gillick, S. Kulkarni, L. Lansing, A. Presta, J. Baldridge, E. Ie, and D. Garcia Olano. Learning dense representations for entity retrieval. In CoNLL, pages 528 537, 2019
  34. Fang, Y. Cao, Q. Li, D. Zhang, Z. Zhang, and Y. Liu. Joint entity linking with deep reinforcement learning. In WWW, pages 438–447, 2019.
  35. Adjali, R. Besancon, O. Ferret, H. Le Borgne, and B. Grau. Multi-modal entity linking for tweets. In ECIR, 2020
  36. Wu, F. Petroni, M. Josifoski, S. Riedel, and L. Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In EMNLP, pages 6397–6407, 2020.
  37. Sun, L. Lin, D. Tang, N. Yang, Z. Ji, and X. Wang. Modeling mention, context and entity with neural networks for entity disambiguation. In IJCAI, pages 1333 1339, 2015.
  38. Francis-Landau, G. Durrett, and D. Klein. Capturing semantic similarity for entity linking with convolutional neural networks. In NAACL, pages 1256–1261, 2016
  39. Kolitsas, O.-E. Ganea, and T. Hofmann. End-to-end neural entity linking. In CoNLL, pages 519–529, 2018.
  40. Yamada, K. Washio, H. Shindo, and Y. Matsumoto. Global entity disam biguation with pretrained contextualized embeddings of words and entities. arXiv preprint arXiv:1909.00426, 2020.
  41. Yang, X. Gu, S. Lin, S. Tang, Y. Zhuang, F. Wu, Z. Chen, G. Hu, and X. Ren. Learning dynamic context augmentation for global entity linking. In EMNLP IJCNLP, pages 271–281, 2019.
  42. Chen, G. Varoquaux, and F. M. Suchanek. A lightweight neural model for biomedical entity linking. In AAAI, pages 12 657–12 665, 2021.
  43. Xue, W. Cai, J. Su, L. Song, Y. Ge, Y. Liu, and B. Wang. Neural collective entity linking based on recurrent random walk network learning. In IJCAI, pages 5327–5333, 2019.
  44. H. Nguyen, N. R. Fauceglia, M. R. Muro, O. Hassanzadeh, A. Gliozzo, and M. Sadoghi. Joint learning of local and global features for entity linking via neural networks. In COLING, pages 2310–2320, 2016.
  45. Guo, M.-W. Chang, and E. Kiciman. To link or not to link? a study on end-to-end tweet entity linking. In NAACL, pages 1020–1030, 2013.
  46. Le and I. Titov. Boosting entity linking performance by leveraging unlabeled documents. In ACL, pages 1935–1945, 2019.
  47. Le and I. Titov. Distant learning for entity linking with automatic noise detec tion. In ACL, pages 4081–4090, 2019.
  48. Cao, L. Hou, J. Li, and Z. Liu. Neural collective entity linking. In COLING, pages 675–686, 2018.
  49. Mahmoud, O. Saif, E. Nabil, M. Abdeen, M. ElNainay, and M. Torki. Ar-sanad 280k: A novel 280k artificial sanads dataset for hadith narrator disambiguation. Information, 13:55, 2022.