Cải tiến phân tích cú pháp tiếng Việt với kỹ thuật attention

Trong bài báo này chúng tôi sử dụng cơ chế selft-attention để thay thế một bộ Encoder LSTM nhằm cải thiện hiệu suất của bộ phân tích cú pháp thành phần áp dụng cho tiếng Việt. Việc sử dụng cơ chế attention làm minh bạch cách thức thông tin được lan truyền giữa các vị trí khác nhau trong câu đầu vào. Chúng tôi phát hiện việc tách thông tin vị trí và thông tin nội dung trong bộ Encoder làm cải thiện cho độ chính xác của bộ phân tích cú pháp. Ngoài ra, chúng tôi đánh giá cách tiếp cận khác nhau để biểu diễn từ vựng. Bộ phân tích cú pháp của chúng tôi đạt được kết quả tiên tiến mới cho các mô hình huấn luyện trong Viet Treebank: 81,15 F1.