Nghiên cứu: BloombergGPT: Mô Hình Ngôn Ngữ Lớn Cho Lĩnh Vực Tài Chính

BloombergGPT: Mô hình ngôn ngữ lớn chuyên biệt cho lĩnh vực tài chính

Giới thiệu

Nghiên cứu này, được thực hiện bởi Shijie Wu và các cộng sự từ Bloomberg và Đại học Johns Hopkins, xuất bản năm 2023, giới thiệu BloombergGPT, một mô hình ngôn ngữ lớn (LLM) với 50 tỷ tham số, được thiết kế đặc biệt cho lĩnh vực tài chính. Bài báo “BloombergGPT: A Large Language Model for Finance” (Wu et al., 2023), xuất bản trên arXiv, đánh dấu nỗ lực tiên phong trong việc xây dựng LLM chuyên biệt cho ngành tài chính, nơi xử lý ngôn ngữ tự nhiên (NLP) ngày càng đóng vai trò quan trọng. LLM đã chứng minh được hiệu quả trong nhiều ứng dụng khác nhau như phân tích tình cảm, nhận dạng thực thể và trả lời câu hỏi. BloombergGPT được huấn luyện trên một tập dữ liệu khổng lồ, kết hợp dữ liệu tài chính chuyên biệt và dữ liệu đa mục đích công khai, nhằm mục đích vượt trội trong các tác vụ tài chính mà vẫn duy trì được hiệu suất tốt trên các tiêu chuẩn LLM tổng quát. Nghiên cứu này nhấn mạnh tầm quan trọng của việc phát triển các mô hình ngôn ngữ phù hợp với miền để đáp ứng các nhu cầu cụ thể của các ngành công nghiệp khác nhau.

Xây dựng tập dữ liệu FinPile

Một trong những đóng góp chính của nghiên cứu là việc xây dựng “FinPile,” một tập dữ liệu lớn chứa 363 tỷ token tài chính, chiếm hơn 51% tổng số token huấn luyện. Dữ liệu này được thu thập và tuyển chọn từ các nguồn của Bloomberg trong suốt 40 năm, bao gồm tin tức tài chính, hồ sơ công ty, thông cáo báo chí và nội dung web liên quan. Wu et al. (2023) đã bổ sung FinPile bằng 345 tỷ token từ các tập dữ liệu công khai như The Pile, C4 và Wikipedia để đảm bảo khả năng khái quát hóa của mô hình. Cách tiếp cận kết hợp này cho phép BloombergGPT nắm bắt được cả kiến thức chung và kiến thức chuyên sâu về tài chính. Việc xử lý và làm sạch dữ liệu cẩn thận cũng giúp cải thiện chất lượng và tính nhất quán của tập dữ liệu.

Kiến trúc mô hình và quá trình huấn luyện

BloombergGPT sử dụng kiến trúc decoder-only dựa trên mô hình BLOOM (Scao et al., 2022). Mô hình bao gồm 70 lớp transformer decoder, với tổng cộng 50 tỷ tham số. Các tác giả đã tuân theo các nguyên tắc từ Hoffmann et al. (2022) để chọn kích thước mô hình và cấu hình huấn luyện tối ưu. Quá trình huấn luyện được thực hiện trên 64 máy chủ AWS p4d.24xlarge, mỗi máy có 8 GPU NVIDIA A100. Các kỹ thuật tối ưu hóa như ZeRO optimization, activation checkpointing và mixed precision training đã được sử dụng để giảm thiểu chi phí bộ nhớ và tăng tốc độ huấn luyện. Các tác giả cũng ghi lại chi tiết các thách thức và quyết định trong quá trình huấn luyện, cung cấp thông tin hữu ích cho các nhà nghiên cứu khác trong lĩnh vực này.

Đánh giá hiệu suất và phân tích

BloombergGPT đã được đánh giá trên nhiều tiêu chuẩn khác nhau, bao gồm các tiêu chuẩn LLM tổng quát, các tiêu chuẩn tài chính công khai và các tiêu chuẩn nội bộ của Bloomberg. Kết quả cho thấy mô hình vượt trội hơn đáng kể so với các mô hình hiện có trên các tác vụ tài chính, đồng thời duy trì hiệu suất cạnh tranh trên các tiêu chuẩn NLP tổng quát. Đặc biệt, BloombergGPT thể hiện khả năng vượt trội trong các tác vụ như phân tích tình cảm, nhận dạng thực thể và trả lời câu hỏi tài chính. Wu et al. (2023) cũng cung cấp các ví dụ định tính về khả năng của mô hình trong việc tạo ra Ngôn ngữ truy vấn Bloomberg (BQL) hợp lệ và đề xuất các tiêu đề tin tức tài chính. Những kết quả này khẳng định tính hiệu quả của cách tiếp cận huấn luyện kết hợp và tầm quan trọng của dữ liệu chuyên biệt trong việc xây dựng LLM cho các lĩnh vực cụ thể.

Kết luận

Nghiên cứu của Wu et al. (2023) trình bày BloombergGPT, một LLM tiên tiến được thiết kế riêng cho lĩnh vực tài chính. Bằng cách kết hợp dữ liệu tài chính chuyên biệt với dữ liệu đa mục đích, các tác giả đã tạo ra một mô hình vượt trội trong các tác vụ tài chính đồng thời vẫn duy trì được khả năng khái quát hóa tốt. Nghiên cứu này cung cấp những đóng góp có giá trị cho cộng đồng nghiên cứu, bao gồm một tập dữ liệu tài chính lớn, một phân tích chi tiết về kiến trúc mô hình và quá trình huấn luyện, và một đánh giá toàn diện về hiệu suất của mô hình. BloombergGPT có tiềm năng cách mạng hóa cách các chuyên gia tài chính tương tác với dữ liệu và thực hiện các tác vụ NLP, mở ra những cơ hội mới cho tự động hóa và ra quyết định sáng suốt hơn. Mặc dù có những lo ngại về mặt đạo đức và hạn chế về việc công khai mô hình, những hiểu biết sâu sắc và kinh nghiệm thu được từ việc phát triển BloombergGPT có thể giúp định hướng các nỗ lực trong tương lai nhằm xây dựng các LLM chuyên biệt cho các lĩnh vực khác.
Nguồn bài viết: BloombergGPT: A Large Language Model For Finance