Nền tảng LLM

Một nền tảng LLM, trong đường học này, là một mảnh của ứng dụng mà bạn vẽ vừa một trang và tháng sau vẫn vận hành được. Nhánh con này bắt đầu bằng retrieval-augmented generation vì đó là thiết kế đầu tiên các team đưa lên, và tiếp tục bằng đánh giá vì một pipeline không có bài kiểm tra sẽ thành bản demo không sửa được một cách an toàn.

Bạn nên biết request là gì và một câu query trả về gì. Bạn không cần nền nghiên cứu. Các bài tránh chuyện bảng xếp hạng, trừ chỗ một benchmark đang bị dùng sai như một chỉ số sản phẩm. Chỗ tách hữu ích thì đơn giản: benchmark cho biết model làm thế nào trên một task người khác định nghĩa, còn eval cho biết ứng dụng của bạn có làm đúng việc người dùng yêu cầu hay không.

Hãy đọc bài truy xuất trước bài đánh giá. Bài thứ hai cứ nhắc các giai đoạn của pipeline, và những giai đoạn đó được gọi tên ở bài đầu. Nếu bạn đã chạy một hệ truy xuất, ghi chú đánh giá là bài đổi cách bạn review một diff của prompt.

Cả hai trang đều budding. Tôi đang dùng những thiết kế này, và vẫn chờ sửa các ca lỗi khi thấy ca mới trên production. Ngày chăm sóc là tín hiệu thật về lần gần nhất chuyện đó xảy ra. Ở đây không có nền tảng bài tập. Bài tập là chỉ pipeline vào một kho tài liệu bạn thật sự có, và viết ra một câu trả lời sai đáng giá bao nhiêu.