Chromium Chronicle #20: Khai thác kiểm tra đo điểm chuẩn

Tập 20: của John Chen ở Bellevue, Washington (tháng 4 năm 2021)
Các tập trước

Tốc độ là một trong bốn nguyên tắc cốt lõi của Chrome. Việc thêm điểm chuẩn là cách dễ dàng để ngăn chặn tình trạng hồi quy hiệu suất và giúp cải thiện hiệu suất theo thời gian. Điểm chuẩn tốt có chu kỳ lặp lại nhanh, có thể phát hiện lỗi hồi quy hiệu suất sớm hơn nhiều so với UMA và rất phù hợp để đo lường hiệu suất của một tính năng mới.

Điểm chuẩn chạy thường xuyên trong phòng thí nghiệm. Khi tìm thấy lỗi hồi quy, bisect sẽ tự động tìm CL thủ phạm và gán lỗi cho chủ sở hữu CL.

Điểm chuẩn của Chrome kết hợp trình tự các lượt tương tác trên trang web (gọi là story) với các phép đo lường hiệu suất. Các trường hợp tương tự được nhóm thành các khai thác điểm chuẩn. Các điểm chuẩn mới thường phù hợp với một trong các phần khai thác hiện có:

  • Tình trạng hệ thống
  • Đang tải
  • Bộ nhớ
  • Kết xuất
  • Công suất
  • Khởi động
  • Thời gian chạy phiên bản 8
  • Nội dung nghe nhìn
  • WebRTC
  • Hình ảnh trên báo chí
  • Tính năng Blink Perf

Khung Telemetry sẽ phát lại các câu chuyện đã ghi lại để mô phỏng hoạt động tương tác của người dùng với Chrome, đồng thời thu thập dấu vết ghi lại các hoạt động của Chrome. Sau khi câu chuyện kết thúc, khung này sẽ chạy nhiều chỉ số hiệu suất để phân tích dấu vết và tính toán kết quả hiệu suất.

Bạn có thể kiểm tra hầu hết các trường hợp kiểm thử hiệu suất mới trong Chrome bằng cách thêm một câu chuyện mới, sử dụng chỉ số hiện có trong một trong các khai thác hiện có. Bạn cũng có thể thu thập dấu vết bổ sung và thêm các chỉ số khác vào các điểm chuẩn hiện có hoặc truyền cờ bổ sung cho trình duyệt.

Sử dụng Blink Perf cho các trường hợp một lần không phù hợp với các dây đeo khác. Trong Blink Perf, bạn có thể đo lường các sự kiện theo dõi trên các trang chỉ dùng một lần.

Giữ cho những câu chuyện về điểm chuẩn của bạn đơn giản và chỉ bao gồm nhóm tương tác tối thiểu cần thiết để hoàn thành trường hợp của bạn. Nếu một trường hợp kiểm thử phức tạp, có thể khó tự động hoá hoặc nó có thể không ổn định.

Hãy giới hạn kiểm thử ở số lượng nhỏ nhất, bao gồm các trường hợp sử dụng quan trọng nhất. Việc duy trì cơ sở hạ tầng đo điểm chuẩn rất tốn kém. Xem bài viết Thiết bị Chrome Speed để biết danh sách phần cứng được hỗ trợ.

Có nhiều cách để đo lường hiệu suất. Các điểm chuẩn dựa trên phép đo từ xa kiểm soát Chrome từ một quy trình bên ngoài, và điều này không phải lúc nào cũng cung cấp mức kiểm soát cần thiết. Thay vào đó, điểm chuẩn dựa trên gtest cho phép mã kiểm thử chia sẻ cùng một quy trình với mã Chrome. Bạn cũng có thể cân nhắc sử dụng các công cụ hiệu suất khác, chẳng hạn như sử dụng UMA để đo lường hiệu suất trên thiết bị của người dùng thay vì trong phòng thí nghiệm.

Bạn muốn tìm hiểu thêm về tính năng đo điểm chuẩn của Chrome? Hãy liên hệ với telemetry@chromium.org.

Tài nguyên khác