Nghiên cứu: A Survey Of Large Language Models In Finance (FinLLMs)

Current blog Post: Tổng quan về các Mô hình Ngôn ngữ Lớn trong Tài chính (FinLLMs)

Giới thiệu

Sự trỗi dậy của các Mô hình Ngôn ngữ Lớn (LLMs) đã tạo ra một cuộc cách mạng trong lĩnh vực Xử lý Ngôn ngữ Tự nhiên (NLP), thu hút sự chú ý đáng kể từ nhiều ngành công nghiệp, bao gồm cả dịch vụ tài chính. Bài viết “Tổng quan về các Mô hình Ngôn ngữ Lớn trong Tài chính (FinLLMs)” của Jean Lee, Nicholas Stevens, Soyeon Caren Han và Minseok Song, được công bố vào ngày 4 tháng 2 năm 2024, trên arXiv, cung cấp một cái nhìn toàn diện về FinLLMs, bao gồm lịch sử, kỹ thuật, hiệu suất, cơ hội và thách thức của chúng. Nghiên cứu này là một nguồn tài liệu tham khảo quan trọng cho các nhà nghiên cứu và chuyên gia trong lĩnh vực tài chính và khoa học máy tính, giúp họ hiểu rõ hơn về tiềm năng và giới hạn của LLMs trong bối cảnh tài chính. Để hiểu rõ hơn về các loại dữ liệu có thể được sử dụng trong lĩnh vực này, bạn có thể tham khảo thêm về phân loại dữ liệu định tính và định lượng. Ngoài ra, nếu bạn quan tâm đến việc tìm kiếm các bài báo khoa học liên quan đến FinLLMs, bạn có thể xem hướng dẫn download miễn phí bài báo khoa học từ trang ScienceDirect.

Sự phát triển từ các Mô hình Ngôn ngữ Tổng quát đến Tài chính

Các Mô hình Ngôn ngữ Tổng quát (General-domain LMs)

• GPT-Series: Bài viết theo dõi sự phát triển của loạt mô hình GPT, bắt đầu với GPT-1 (110M) và tiếp tục đến GPT-4 (ước tính 1.7T tham số). GPT-3 đánh dấu một cột mốc quan trọng với khả năng “in-context learning” (học trong ngữ cảnh), cho phép mô hình học các khả năng mới mà không cần được huấn luyện rõ ràng. ChatGPT, một ứng dụng kết hợp GPT-3, Codex và InstructGPT, đã chứng minh tiềm năng to lớn của LLMs trong việc hiểu và tạo ra ngôn ngữ tự nhiên.
• Các LLMs Mã Nguồn Mở: Ngoài các mô hình độc quyền như GPT, cộng đồng nghiên cứu cũng đã phát triển các LLMs mã nguồn mở như BERT và LLaMA. LLaMA đã tạo ra một hệ sinh thái đa dạng các mô hình biến thể, được tinh chỉnh bằng các kỹ thuật như Instruction Fine-Tuning (IFT) và Chain-of-Thought (CoT) Prompting. BLOOM (176B) là một LLM mã nguồn mở khác, được xây dựng bởi sự hợp tác của hàng trăm nhà nghiên cứu từ BigScience Workshop.

Các Mô hình Ngôn ngữ Tài chính (Financial-domain LMs)

Các mô hình ngôn ngữ tài chính (FinLMs) thường được xây dựng dựa trên các mô hình ngôn ngữ tổng quát. Có bốn loại FinPLMs (Financial Pre-trained Language Models) và bốn loại FinLLMs (Financial Large Language Models).

• FinPLMs: FinBERT-19, FinBERT-20 và FinBERT-21 đều dựa trên BERT, trong khi FLANG dựa trên ELECTRA.
• FinLLMs: FinMA, InvestLM và FinGPT dựa trên LLaMA hoặc các mô hình mã nguồn mở khác, trong khi BloombergGPT là một mô hình đóng tương tự BLOOM.

Các Kỹ thuật Xây dựng FinLLMs

Nghiên cứu so sánh năm kỹ thuật chính được sử dụng trong FinPLMs và FinLLMs:

Tiếp tục Huấn luyện Trước (Continual Pre-training)

Kỹ thuật này liên quan đến việc huấn luyện một mô hình ngôn ngữ hiện có với dữ liệu miền cụ thể mới. FinBERT-19 là một ví dụ về mô hình sử dụng phương pháp này.

Huấn luyện Trước từ Đầu theo Miền Cụ thể (Domain-Specific Pre-training from Scratch)

Phương pháp này huấn luyện một mô hình hoàn toàn trên một tập dữ liệu không được gắn nhãn theo miền cụ thể. FinBERT-20 là một ví dụ về mô hình được huấn luyện bằng cách này.

Huấn luyện Trước Kết hợp Miền (Mixed-Domain Pre-training)

Kỹ thuật này sử dụng cả tập dữ liệu tổng quát và tập dữ liệu theo miền cụ thể để huấn luyện mô hình. FinBERT-21 là một ví dụ về mô hình sử dụng phương pháp này.

LLM Kết Hợp Miền với Kỹ Thuật Prompt (Mixed-Domain LLM with Prompt Engineering)

Kỹ thuật này huấn luyện mô hình trên cả tập dữ liệu tổng quát lớn và tập dữ liệu theo miền cụ thể lớn. Sau đó, người dùng mô tả tác vụ và cung cấp một tập hợp các ví dụ bằng ngôn ngữ tự nhiên. BloombergGPT là một ví dụ về một mô hình sử dụng phương pháp này.

LLM Tinh Chỉnh Hướng Dẫn với Kỹ Thuật Prompt (Instruction Fine-tuned LLM with Prompt Engineering)

Kỹ thuật này liên quan đến việc huấn luyện thêm LLM bằng các hướng dẫn văn bản rõ ràng để cải thiện khả năng và khả năng kiểm soát của chúng. FinMA và InvestLM là những ví dụ về các mô hình sử dụng phương pháp này.

Đánh giá và Các Nhiệm vụ Benchmark

Các Nhiệm vụ Benchmark Tài chính

• Phân tích Cảm xúc (Sentiment Analysis – SA): Phân tích thông tin cảm xúc từ văn bản đầu vào. Các tập dữ liệu phổ biến bao gồm Financial PhraseBank (FPB) và FiQA SA.
• Phân loại Văn bản (Text Classification – TC): Phân loại văn bản thành các nhãn được xác định trước. FLUE bao gồm tập dữ liệu Gold News Headline cho tác vụ này.
• Nhận dạng Thực thể Được đặt tên (Named Entity Recognition – NER): Trích xuất thông tin từ văn bản không có cấu trúc và phân loại nó thành các thực thể được đặt tên trước. Tập dữ liệu FIN được bao gồm trong các điểm chuẩn FLUE.
• Trả lời Câu hỏi (Question Answering – QA): Truy xuất hoặc tạo câu trả lời cho các câu hỏi từ một bộ sưu tập tài liệu không có cấu trúc. FinQA và ConvFinQA là các tập dữ liệu phổ biến cho nhiệm vụ này.
• Dự đoán Biến động Chứng khoán (Stock Movement Prediction – SMP): Dự đoán biến động giá của ngày hôm sau dựa trên giá lịch sử và dữ liệu văn bản liên quan. StockNet, CIKM18 và BigData22 là các tập dữ liệu thường được sử dụng.
• Tóm tắt Văn bản (Text Summarization – Summ): Tạo ra một bản tóm tắt ngắn gọn từ tài liệu đồng thời truyền tải thông tin chính của nó. ECTSum là một tập dữ liệu được sử dụng cho nhiệm vụ này.

Các Nhiệm vụ NLP Tài chính Nâng cao

• Trích xuất Quan hệ (Relation Extraction – RE): Xác định và phân loại các mối quan hệ giữa các thực thể được ngụ ý trong văn bản.
• Phát hiện Sự kiện (Event Detection – ED): Xác định tác động của cách các nhà đầu tư nhận thức và đánh giá các công ty liên quan.
• Phát hiện Nhân quả (Causality Detection – CD): Xác định các mối quan hệ nhân quả trong văn bản thực tế.
• Lý luận Số (Numerical Reasoning – NR): Xác định số và toán tử toán học để thực hiện tính toán và hiểu ngữ cảnh tài chính.
• Nhận dạng Cấu trúc (Structure Recognition – SR): Tập trung vào Phát hiện Ranh giới Cấu trúc trong một tài liệu và nhận ra các mối quan hệ logic giữa các bảng và nội dung xung quanh.
• Hiểu Đa phương thức (Multimodal – MM): Hiểu và xử lý dữ liệu từ nhiều phương thức khác nhau, chẳng hạn như văn bản, hình ảnh và âm thanh.
• Dịch Máy (Machine Translation – MT): Dịch câu từ ngôn ngữ nguồn sang ngôn ngữ đích trong khi vẫn hiểu ý nghĩa theo ngữ cảnh tài chính.
• Dự báo Thị trường (Market Forecasting – MF): Dự đoán giá thị trường, biến động và rủi ro.

Cơ hội và Thách thức

Cơ hội

• Bộ dữ liệu: Dữ liệu chất lượng cao và dữ liệu đa phương thức rất quan trọng để phát triển FinLLM tinh vi.
• Kỹ thuật: Các kỹ thuật như Retrieval Augmented Generation (RAG) có thể được triển khai để giải quyết các vấn đề về quyền riêng tư và cải thiện độ tin cậy.
• Đánh giá: Kết hợp kiến thức miền từ các chuyên gia tài chính là rất quan trọng để xác nhận hiệu suất của mô hình.
• Triển khai: Chọn FinLLM và kỹ thuật phù hợp đòi hỏi phải cân bằng giữa chi phí và hiệu suất.
• Ứng dụng: Chia sẻ các trường hợp sử dụng FinLLM có thể mang lại lợi ích cho các lĩnh vực tài chính khác nhau.
  * Bộ dữ liệu: Dữ liệu chất lượng cao và dữ liệu đa phương thức rất quan trọng để phát triển FinLLM tinh vi. Để hiểu rõ hơn về các loại dữ liệu khác nhau, bạn có thể tìm hiểu thêm về phân loại dữ liệu.

Thách thức

• Bộ dữ liệu: Thu thập dữ liệu tài chính chất lượng cao ở nhiều định dạng khác nhau là một thách thức.
• Kỹ thuật: Các thách thức lớn trong tài chính bao gồm sử dụng dữ liệu nội bộ mà không vi phạm quyền riêng tư và tăng cường sự tin tưởng vào các phản hồi do FinLLM tạo ra.
• Đánh giá: Các nhiệm vụ dựa trên kiến thức yêu cầu đánh giá của con người từ các chuyên gia tài chính và phản hồi của chuyên gia để điều chỉnh mô hình.
• Triển khai: Cần có kỹ năng kỹ thuật LLMOps, bao gồm các kỹ thuật prompt mềm và hệ thống giám sát vận hành.
• Ứng dụng: Các thách thức trong việc phát triển các ứng dụng tài chính trong thế giới thực bao gồm nhu cầu kinh doanh, các rào cản ngành, quyền riêng tư dữ liệu, trách nhiệm giải trình, đạo đức và khoảng cách hiểu biết giữa các chuyên gia tài chính và các chuyên gia AI.

Kết luận

Bài viết “Tổng quan về các Mô hình Ngôn ngữ Lớn trong Tài chính (FinLLMs)” cung cấp một cái nhìn tổng quan toàn diện về FinLLMs, bao gồm sự phát triển của chúng từ các LM miền chung, so sánh các kỹ thuật của FinPLMs/FinLLMs và trình bày sáu tiêu chuẩn thông thường cũng như tám tiêu chuẩn và bộ dữ liệu nâng cao. Bài viết cũng thảo luận về các cơ hội và thách thức cho các hướng đi mới cho FinLLM nâng cao. Bài viết này sẽ có lợi cho cả cộng đồng nghiên cứu Khoa học Máy tính và Tài chính. Nếu bạn muốn nghiên cứu sâu hơn, bạn có thể tải các luận văn liên quan để tìm hiểu thêm về chủ đề này.

Hy vọng bản tóm tắt này hữu ích cho bạn!

Download Nghiên cứu khoa học: A Survey Of Large Language Models In Finance (FinLLMs)