علوم رایانشی

علوم رایانشی

شناسایی فاکتورهای سبک زندگی در متون زیستی پزشکی با استفاده از مدل های زبانی بزرگ

نوع مقاله : مقاله پژوهشی

نویسنده
استادیار دانشکده فناوری اطلاعات و مهندسی کامپیوتر دانشگاه شهید مدنی آذربایجان، تبریز، ایران
10.22034/csj.2025.520613.1091
چکیده
شناسایی موجودیت‌های نام‌گذاری ‌شده (NER) در متون علمی، یکی از چالش‌های کلیدی در پردازش زبان طبیعی است. روش‌های سنتی NER، مانند مدل‌های مبتنی بر یادگیری ماشین نظارت ‌شده، به حجم بالایی از داده‌های برچسب‌گذاری‌ شده نیاز دارند که تهیه آن‌ها بسیار زمان‌بر و پرهزینه است. در مقابل، مدل‌های زبانی بزرگ (LLMs)، با کمترین نیاز به داده‌های برچسب‌گذاری شده، فرصتی برای کاربردهای پر هزینه قبلی فراهم آورده‌اند. شناسایی عوامل سبک زندگی در میلیون‌ها مقاله علمی گذشته، یکی از این کاربردهای مغفول مانده است که می‌تواند موجب سازماندهی دانش موجود در زمینه ارتباط بین بیماری‌ها و سبک زندگی شده و زمینه را برای استفاده از چنین پایگاه دانشی در سیاست‌های سلامت عمومی و یا حتی درمان‌های پزشکی فراهم آورد. در این مقاله برای نخستین بار یک راهکار سه مرحله‌ای مبتنی بر LLM به نام LSF-NER توسعه داده شده است که فاکتورهای سبک زندگی را از متون زیستی پزشکی استخراج می‌کند. ارزیابی نتایج آزمایش‌ها نشان می‌دهد که مدل آموزش دیده در این تحقیق، علی‌رغم استفاده از منابع محاسباتی کمتر، عملکردی قابل مقایسه و امیدوارکننده نسبت به مدل‌هایی مانند GPT-4o از خود نشان داده است و نوید امکان‌پذیر بودن ادامه تحقیقات بدون نیاز به زیرساخت‌های محاسباتی پر هزینه را می‌دهد.
کلیدواژه‌ها
موضوعات

مراجع
[1]  Cho, H., & Lee, H. 2019. “Biomedical named entity recognition using deep neural networks with contextual information,” BMC Bioinformatics, vol. 20, no. 1, p. 735, Dec. doi: 10.1186/s12859-019-3321-4.
[2] Liu, X. 2019. “Deep Recurrent Neural Network for Protein Function Prediction from Sequence,” arXiv:1701.08318, Jan. 2017, Accessed: Dec. 03, [Online]. Available: http://arxiv.org/abs/1701. 08318
[3] Song, B., Li, F., Liu, Y. & Zeng, X. 2021. “Deep learning methods for biomedical named entity recognition: a survey and qualitative comparison,” Briefings in Bioinformatics, vol. 22, no. 6, p. bbab282, Nov. doi: 10.1093/bib/bbab282.
[4] Jia, C., Liang, X., & Zhang, Y. 2019. “Cross-Domain NER using Cross-Domain Language Modeling,” in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy: Association for Computational Linguistics, pp. 2464–2474. doi: 10.18653/v1/P19-1236.
[5] Chen, X. et al., 2023. “One Model for All Domains: Collaborative Domain-Prefix Tuning for Cross-Domain NER”, arXiv. doi: 10.48550/ARXIV.2301.10410.
[6] Wang, S. et al., 2023. “GPT-NER: Named Entity Recognition via Large Language Models,” arXiv. doi: 10.48550/ARXIV.2304.10428.
[7] Luo, Z., Yang, Y., Qi, R., Fang, Z., Guo, Y. & Wang, Y. 2023. “Incorporating Large Language Models into Named Entity Recognition: Opportunities and Challenges,” in 2023 4th International Conference on Computer, Big Data and Artificial Intelligence (ICCBD+AI), Guiyang, China: IEEE, Dec. pp. 429–433. doi: 10.1109/ICCBD-AI62252.2023.00079.
[8] Zhang, Z., Zhao, Y., Gao, H. & Hu, M. 2024. “LinkNER: Linking Local Named Entity Recognition Models to Large Language Models using Uncertainty,” in Proceedings of the ACM Web Conference 2024, Singapore Singapore: ACM, May 2024, pp. 4047–4058. doi: 10.1145/3589334.3645414.
[9] Keloth, V. K.et al., 2024. “Advancing entity recognition in biomedicine via instruction tuning of large language models,” Bioinformatics, vol. 40, no. 4, p. btae163, Mar. 2024, doi: 10.1093/bioinformatics/ btae163.
[10]  Zhang, Y. et al., 2020.“Combined lifestyle factors and risk of incident type 2 diabetes and prognosis among individuals with type 2 diabetes: a systematic review and meta-analysis of prospective cohort studies,” Diabetologia, vol. 63, no. 1, pp. 21–33, Jan. 2020, doi: 10.1007/s00125-019-04985-9.
[11]  Zhang, Y.-B.et al., 2021. “Combined lifestyle factors, all-cause mortality and cardiovascular disease: a systematic review and meta-analysis of prospective cohort studies,” J Epidemiol Community Health, vol. 75, no. 1, pp. 92–99, Jan. 2021, doi: 10.1136/jech-2020-214050.
[12]  Randolph, J. J.et al., 2024. “Integrating Lifestyle Factor Science into Neuropsychological Practice: A National Academy of Neuropsychology Education Paper,” Archives of Clinical Neuropsychology, vol. 39, no. 2, pp. 121–139, Feb. 2024, doi: 10.1093/arclin/acad078.
[13]  Firth, J. et al., 2020.“A meta‐review of ‘lifestyle psychiatry’: the role of exercise, smoking, diet and sleep in the prevention and treatment of mental disorders,” World Psychiatry, vol. 19, no. 3, pp. 360–380, Oct. 2020, doi: 10.1002/wps.20773.
[14]  Atallah N. et al., 2018. “How Healthy Lifestyle Factors at Midlife Relate to Healthy Aging,” Nutrients, vol. 10, no. 7, p. 854, Jun. 2018, doi: 10.3390/nu10070854.
[15]  Jirout et al., J. 2019. “How Lifestyle Factors Affect Cognitive and Executive Function and the Ability to Learn in Children,” Nutrients, vol. 11, no. 8, p. 1953, Aug. 2019, doi: 10.3390/nu11081953.
[16]  Martins, L. C. G., Lopes, M. V. D. O., Diniz, C. M., & Guedes, N. G. 2021. “The factors related to a sedentary lifestyle: A meta‐analysis review,” Journal of Advanced Nursing, vol. 77, no. 3, pp. 1188–1205, Mar. 2021, doi: 10.1111/jan.14669.
[17]  Nourani, E. et al., 2025. “LSD600: the first corpus of biomedical abstracts annotated with lifestyle–disease relations,” Database, vol. 2025, p. baae129, Jan. 2025, doi: 10.1093/database/baae129.
[18]  Zhu, T., Qin, Y., Feng, M., Chen, Q., Hu, B. & Xiang, Y. 2024. “BioPRO: Context-Infused Prompt Learning for Biomedical Entity Linking,” IEEE/ACM Trans. Audio Speech Lang. Process., vol. 32, pp. 374–385, 2024, doi: 10.1109/TASLP.2023.3331149.
[19]  Nourani, E. et al., 2024. “Lifestyle factors in the biomedical literature: an ontology and comprehensive resources for named entity recognition,” Bioinformatics, vol. 40, no. 11, p. btae613, Nov. 2024, doi: 10.1093/bioinformatics/btae613.
[20]  Stenetorp, P., Pyysalo, S., Topić, G., Ohta, T., Ananiadou, S., & Tsujii, J. 2012.“brat: a Web-based Tool for NLP-Assisted Text Annotation,” in Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, F. Segond, Ed., Avignon, France: Association for Computational Linguistics, Apr. 2012, pp. 102–107. Accessed: Oct. 22, 2024. [Online]. Available: https://aclanthology.org/E12-2021
[21]  Hu, Y. et al., 2024. “Improving large language models for clinical named entity recognition via prompt engineering,” Journal of the American Medical Informatics Association, vol. 31, no. 9, pp. 1812–1820, Sep. 2024, doi: 10.1093/jamia/ocad259.
[22]  Zeghidi, H. & Moncla, L. 2024. “Evaluating Named Entity Recognition Using Few-Shot Prompting with Large Language Models,” Sep. 04, 2024, arXiv: arXiv:2408.15796. doi: 10.48550/arXiv.2408.15796.
[23]  Johnson, J., Douze, M. & Jégou, H. 2021. “Billion-Scale Similarity Search with GPUs,” IEEE Transactions on Big Data, vol. 7, no. 3, pp. 535–547, Jul. 2021, doi: 10.1109/TBDATA.2019.2921572.
[24]  Ouyang, L.et al., 2022. “Training language models to follow instructions with human feedback,” Mar. 04, 2022, arXiv: arXiv:2203.02155. doi: 10.48550/arXiv.2203.02155.
[25]  Dettmers, T., Pagnoni, A., Holtzman, A. & Zettlemoyer, L. 2023. “QLORA: efficient finetuning of quantized LLMs,” in Proceedings of the 37th International Conference on Neural Information Processing Systems, in NIPS ’23. Red Hook, NY, USA: Curran Associates Inc., Dec. 2023, pp. 10088–10115.
[26]  Hu, E. J.et al., 2021. “LoRA: Low-Rank Adaptation of Large Language Models,” Oct. 16, 2021, arXiv: arXiv:2106.09685. doi: 10.48550/arXiv.2106.09685.