Trong tập dữ liệu này của cậu, các giá trị trùng lặp được xử lý thế nào?"

Trình Phong đẩy gọng kính, lén lút ngẩng đầu nhìn Phương Dự, ấp úng hỏi.

Đây là sinh viên thể dục sao? Đây là sinh viên thể dục sao? Đây là sinh viên thể dục sao?

Sinh viên thể dục cũng bắt đầu xây mô hình sao?

Phương Dự vừa vào cửa, với chiều cao gần một mét chín và dáng người vạm vỡ đã ngay lập tức tạo áp lực thị giác rất lớn cho Trình Phong.

Sau khi Phương Dự ngồi xuống, Trình Phong càng cảm nhận rõ hơn một cảm giác uy áp mơ hồ từ người cậu, khiến anh ta có cảm giác như đang đối mặt với đạo sư.

Phương Dự chỉ coi Trình Phong là một học trưởng mọt sách, không mấy để ý đến sự bất thường của anh ta.

Phương Dự không biết rằng, bản chất sinh mệnh không ngừng thăng hoa của cậu khiến người bình thường khi đối mặt với cậu sẽ nảy sinh nỗi sợ hãi của sinh vật cấp thấp khi đối diện với sinh vật cấp cao.

Hiện tại Phương Dự vẫn chỉ là một pháp sư cấp hai, khi đạt đến đẳng cấp cao hơn, tình huống này sẽ càng rõ ràng hơn.

Rất nhiều pháp sư thuật sĩ không muốn từ bỏ cuộc sống giao tiếp bình thường của nhân loại sẽ lựa chọn sử dụng các đạo cụ vòng tay như “Ôn Hòa Chi Lực” hoặc phong ấn thuật pháp để ngăn chặn khí tức của thượng vị giả trong mình.

Nghe được vấn đề của Trình Phong, Phương Dự lộ ra vẻ suy tư: “Sử dụng phương thức `duplicated` của pandas sẽ trả về một Series kiểu boolean, giúp xác định các giá trị trùng lặp. Sau đó, dùng hàm `drop` hoặc `keep` để xóa bỏ là được.”

“Nếu là các trường hợp trùng lặp đặc biệt, thì cần dùng phương pháp `corr` để tính toán độ tương tự đặc thù, và dùng tham số `method` để chỉ định hệ số tương quan của Kendall hoặc Spearman.”

Nghe được Phương Dự trả lời, Trình Phong không khỏi sững sờ, điều này hoàn toàn nằm ngoài sự dự liệu của anh ta.

Mặc dù Trình Phong hỏi chỉ là những nội dung cơ bản, nhưng việc nhận được câu trả lời rõ ràng đến vậy cũng hoàn toàn vượt ngoài dự liệu của Trình Phong.

Trình Phong vẫn không dám nhìn thẳng Phương Dự, dán mắt vào màn hình: “Vậy các giá trị ngoại lai cậu lại phân biệt thế nào? Tôi thấy cậu dùng phương pháp Winsorizing để điều chỉnh các giá trị ngoại lai, vì sao lại dùng Winsorizing mà không phải dùng số trung vị thay thế hoặc xóa bỏ?”

Phương Dự lại suy tư một chút: “Đối với dữ liệu định lượng, có thể dùng biểu đồ hộp và biểu đồ tần suất (histogram) để phân biệt; đương nhiên cũng có thể dùng hàm `describe` để tạo ra thông tin mô tả. Đối với dữ liệu phân loại, dùng biểu đồ cột để phân biệt. Ngoài ra, một phần dữ liệu phân bố chuẩn có thể dùng quy tắc 3 sigma để phân biệt.”

“Về cách xử lý, bởi vì việc xóa bỏ các giá trị ngoại lai sẽ khiến số lượng mẫu giảm đáng kể, mà tôi lại không rõ liệu các phép tính sau đó có nhạy cảm với các giá trị ngoại lai hay không. Việc dùng số trung vị thay thế có thể che giấu tính biến động của dữ liệu và ảnh hưởng đến kết quả, nên tôi áp dụng phương pháp Winsorizing để điều chỉnh các giá trị ngoại lai.”

Trình Phong nhìn Phương Dự, nửa ngày không nói chuyện.

Ít nhất là vào năm thứ hai đại học, anh ta khẳng định không thể có được trình độ như vậy.

Chưa kể Phương Dự chỉ là sinh viên chuyên ngành tài chính, ngay cả sinh viên chuyên ngành toán học, năm hai đại học cũng chỉ vừa mới bắt đầu tiếp xúc cấu trúc dữ liệu sơ cấp và lập trình cơ bản. Cùng lắm cũng chỉ mới bắt đầu tiếp xúc với các nội dung liên quan đến làm sạch dữ liệu và thao tác dữ liệu.

Rất nhiều người mãi đến năm thứ tư đại học, thậm chí khi đã vào nghiên cứu sinh, vẫn chưa hiểu rõ rốt cuộc phải ước lượng giá trị ngoại lai thế nào, thậm chí còn đánh giá sai, nhầm lẫn giá trị bình thường thành giá trị ngoại lai rồi loại bỏ.

Mà Phương Dự vừa mới trả lời hai vấn đề cơ bản này, mặc dù ngắn gọn, nhưng rất rõ ràng cho thấy cậu đã thành thạo các kỹ năng liên quan đến làm sạch dữ liệu.

Quan trọng hơn, cậu không chỉ có thể phân loại và xử lý các giá trị lặp cùng các giá trị ngoại lai bằng nhiều phương pháp khác nhau, mà còn có thể thảo luận các kịch bản áp dụng của từng phương pháp thống kê, và cung cấp các chỉ dẫn triển khai cụ thể.

Đây không phải là điều một sinh viên bình thường có thể nắm bắt, trừ khi cậu đã sớm tham gia sâu vào một số dự án xây dựng mô hình dữ liệu.

Mẹ nó, mày đùa tao đấy à? Một thiếu gia học tài chính như mày, học ứng dụng toán tốt đến thế làm gì? Có cần thiết không?

Các cậu không phải nên dựa vào tài nguyên mà tồn tại sao? Làm gì mà lại cướp chén cơm của bọn tố đề gia từ thị trấn nhỏ chúng tôi?

Với lại, mày là sinh viên chuyên ngành tài chính, học toán tốt đến thế bằng cách nào? Bình thường không đi học chuyên ngành à?

Kinh tế học và toán tài chính là sân chơi của các chuyên ngành toán học và vật lý, mày không biết sao?

Mày cũng không nhìn xem, trong trường này, những giáo sư kia, ngành chính quy nào mà không phải học toán và vật lý?

Mày là sinh viên khoa kinh tế theo chân làm gì ở cái ngành kinh tế học náo nhiệt này chứ.

Chẳng lẽ đây chính là sự khác biệt giữa thiên tài đích thực và tố đề gia từ thị trấn nhỏ sao?

Không, sự khác biệt lớn nhất giữa các người là Phương Dự có "cheat".

“Học trưởng?” Phương Dự nghi hoặc gọi Trình Phong.

Trong các câu trả lời vừa rồi, hầu hết các đáp án về mặt kỹ thuật đều là do Dữu Tử truyền qua Ai Sắt Lãng chi Hạch, bất quá Phương Dự vẫn bổ sung thêm một chút những ý kiến mang tính quan điểm riêng.

“Phương Dự học đệ, tôi không có......” Trình Phong vừa mới nói được một nửa, thì nghe thấy một giọng nói từ cửa phòng thí nghiệm vọng vào.

“Nếu sau đó áp dụng mô hình hồi quy tuyến tính, cậu chuẩn bị xử lý thế nào các giá trị ngoại lai và độ tương tự đặc thù trong tập dữ liệu này của cậu?” Phương Dự vừa quay đầu lại, liền thấy Đồng Vĩnh Sơn đang đi vào từ cửa.

Và phía sau Đồng Vĩnh Sơn, còn có một người phụ nữ trẻ mặc sườn xám, khoảng hai mươi sáu, hai mươi bảy tuổi.

Người phụ nữ không quá xinh đẹp, nếu Phương Dự chấm điểm thì tối đa cũng chỉ có thể cho cô ta 70 điểm.

Dáng người ngược lại thì không tệ, có thể đạt 80 điểm.

Nhưng phong tình này thì lại đạt đến 90 điểm.

“Lão sư! Sư tỷ.”

“Chào Viện trưởng.”

Trình Phong mau từ trên ghế đứng lên, hướng đạo sư vấn an.

Còn Phương Dự, cũng đứng dậy, lễ phép chào viện trưởng của mình, sau đó gật đầu nhẹ một cái về phía người phụ nữ trẻ bị Trình Phong gọi là sư tỷ.

Người phụ nữ mặc sườn xám khẽ mỉm cười duyên dáng, đôi môi mím nhẹ, ánh mắt thu ba chuyển động, đầy vẻ quyến rũ. Cô cũng không tự giới thiệu với Phương Dự, mà thướt tha uyển chuyển bước đến phòng giải khát, bắt đầu pha cà phê.

“Không cần khách khí, cứ trả lời câu hỏi là được.” Đồng Vĩnh Sơn tự mình kéo một chiếc ghế ngồi đối diện Phương Dự, trong tay lật xem một tập tài liệu do Trình Phong in ra.

Phương Dự không kiêu ngạo cũng không tự ti ngồi xuống, thoáng suy nghĩ một chút: “Trong phân tích hồi quy tuyến tính, các giá trị ngoại lai có thể ảnh hưởng rất lớn đến hệ số hồi quy và độ chính xác của dự đoán. Cho nên, điều đầu tiên là phải phân biệt chính xác các điểm ngoại lai.”

“Tôi có thể sẽ thông qua các biểu đồ chẩn đoán, như biểu đồ phần dư (residual plot) hoặc biểu đồ ảnh hưởng (influence plot), để phân biệt những điểm ngoại lai này. Một khi đã xác định được các giá trị ngoại lai, tôi sẽ có xu hướng áp dụng các kỹ thuật hồi quy mạnh (robust regression) để giảm thiểu ảnh hưởng của chúng.”

“Ví dụ như sử dụng hồi quy LAD (Least Absolute Deviations) hoặc thực hiện các phép biến đổi, như biến đổi logarit, nhằm ổn định phương sai dữ liệu và cải thiện hiệu suất tổng thể của mô hình.”

“Về phần vấn đề về độ tương tự đặc thù mà ngài vừa đề cập, bởi vì mức độ tương quan cao giữa các biến có thể dẫn đến vấn đề đa cộng tuyến, điều cực kỳ quan trọng đối với mô hình hồi quy tuyến tính. Do đó, việc ước lượng chính xác độ tương tự giữa các đặc trưng là vấn đề quan trọng nhất.”

“Trong vấn đề này, tôi có xu hướng sử dụng VIF để ước lượng mức độ ảnh hưởng lẫn nhau giữa các biến.”

“Tôi cảm thấy, phân tích nhân tố khám phá (Exploratory Factor Analysis) hoặc phân tích thành phần chính (Principal Component Analysis) có thể, với điều kiện không làm mất quá nhiều thông tin, giảm chiều dữ liệu. Nếu áp dụng phương pháp thích hợp, chúng có thể hiệu quả làm lộ ra các mối liên hệ cấu trúc ẩn sâu trong dữ liệu, từ đó tối ưu hóa khả năng dự đoán và sức mạnh giải thích của mô hình.”

“Cuối cùng, về phương diện độ tương tự đặc thù, nhìn từ xu thế tương lai, cá nhân tôi cho rằng không chỉ cần chú ý các hệ số tương quan truyền thống, mà còn nên cân nhắc các đặc tính đồng tích hợp của dữ liệu chuỗi thời gian hoặc mối quan hệ nhân quả giữa các biến.”

“Bởi vậy, việc sử dụng các kỹ thuật học máy như mạng thần kinh nhân tạo để làm rõ các mối quan hệ phi tuyến tính phức tạp giữa các biến, có thể là hướng phát triển quan trọng nhất trong tương lai.”

“Viện trưởng, tôi đã trả lời xong.” Phương Dự hai mắt nhìn thẳng Đồng Vĩnh Sơn, sắc mặt bình tĩnh.

Nghe được Phương Dự trả lời, Trình Phong không khỏi hít sâu một hơi.

Nếu như trước đó Phương Dự trả lời câu hỏi của anh ta chỉ cho thấy độ thành thạo kỹ năng và kinh nghiệm dự án, thì giờ đây, câu trả lời của Phương Dự cho Đồng Vĩnh Sơn đã hoàn toàn vượt xa trình độ học vấn của một nghiên cứu sinh bình thường.

Một nghiên cứu sinh thạc sĩ bình thường, chủ yếu vẫn dừng lại ở giai đoạn học tập và ứng dụng. Chỉ cần có thể thành thạo sử dụng các công cụ xử lý dữ liệu, thì đã được coi là một “chú chó” nghiên cứu khoa học đạt yêu cầu.

Mà câu trả lời vừa rồi của Phương Dự đã hoàn toàn vượt ra khỏi giai đoạn này. Cậu không chỉ thể hiện sự thấu hiểu sâu sắc về lý thuyết phân tích dữ liệu phức tạp, mà còn thể hiện năng lực nghiên cứu mang tính nguyên bản đáng kể, cũng như khả năng ứng dụng kỹ thuật vào việc giải quyết các vấn đề rộng lớn hơn.

Chẳng lẽ thực lực thật sự của học đệ năm hai này đã ngang tầm một cường giả cấp tiến sĩ sao?

Thật sự là khủng bố như vậy!

Đồng Vĩnh Sơn cũng không nhịn được lộ ra vẻ tán thưởng rõ ràng, thậm chí vỗ tay hai lần.

Ông ấy cũng không phải bị năng lực chuyên môn của Phương Dự làm cho kinh ngạc. Ở nước ngoài nhiều năm, dù là tại một số đại học lớn như Caltech, NYU hay MIT, đều hội tụ những thiên tài Toán học hàng đầu thế giới, những đứa trẻ 16 tuổi có năng lực chuyên môn vượt trội hơn cả tiến sĩ cũng không phải là hiếm.

Điều thực sự khiến ông ấy kinh ngạc chính là Phương Dự lại dám đưa ra một dự đoán định hướng rõ ràng về hướng phát triển chuyên môn của học thuật!

Nếu không phải vì Đồng Vĩnh Sơn chưa bao giờ tiết lộ đề án nghiên cứu chưa nộp của mình cho bất kỳ ai, ông ấy thậm chí sẽ nghi ngờ Phương Dự đã nhìn lén kế hoạch nghiên cứu của mình!

Một nghiên cứu sinh như Trình Phong có lẽ còn chưa nghe ra điều gì đặc biệt, nhưng Đồng Vĩnh Sơn thì khác. Đoạn cuối mà Phương Dự vừa nói, đơn giản khiến da đầu ông ấy tê dại.

Đúng vậy, một phần lớn nội dung mà Phương Dự vừa đề cập, chính là hướng nghiên cứu tiếp theo mà ông ấy đã chuẩn bị gần ba tháng nay!

Giống như Bá Nha gặp Tử Kỳ, là một học giả thuần túy, không có gì khiến người ta kích động hơn việc gặp được tri âm.

“Phương Dự, sinh viên lớp tài chính năm hai, thật không ngờ trong học viện chúng ta lại có một sinh viên như vậy. Tốt! Tốt! Tốt!” Đồng Vĩnh Sơn nhìn tài liệu của Phương Dự, vừa gõ nhịp vừa tán thưởng.

Đồng Vĩnh Sơn từ nhỏ đã không giỏi ăn nói, vậy mà lại có thể liên tiếp nói ra ba chữ “tốt” với một sinh viên. Lần gần nhất là mười năm trước, khi ông ấy còn ở NYU và nhận Lâm Phương Đông làm đệ tử.

Lâm Phương Đông hiện tại đã là siêu tân tinh đang lên như diều gặp gió của giới kinh tế học, đã bước vào thời kỳ phát triển đỉnh cao. Năm ngoái, anh ta liên tiếp công bố ba bài báo đỉnh cao trong năm (top 5 tạp chí), rõ ràng là một đỉnh núi khác trong giới học thuật.

“Lão sư, cà phê.” Người sư tỷ với 90 điểm phong tình và 70 điểm tướng mạo vừa rồi đưa cho Đồng Vĩnh Sơn một tách cà phê đang bốc hơi nóng hổi, ánh mắt cô ta lướt qua người Phương Dự một cách không lộ liễu.

“Nam Trăn, đến đây, gặp tiểu sư đệ Phương Dự của các cậu đi, sau này các cậu sẽ cùng nhau làm việc.” Đồng Vĩnh Sơn cười ha hả, quay đầu nói với Phương Dự: “Đại sư tỷ của các cậu là Giang Nam Trăn, cũng là tiến sĩ mới được tôi tuyển sau khi về nước, sau này các cậu có thể trao đổi nhiều hơn.”

“Lão sư, học đệ Phương Dự còn chưa đồng ý gia nhập nhóm đâu ạ.” Người phụ nữ được gọi là Nam Trăn khẽ cười một tiếng, khi cười khóe mắt hơi cong lên.

Đồng Vĩnh Sơn vỗ trán một cái, nhưng cũng không để tâm quá nhiều.

Ông ấy nghĩ, đừng nói một sinh viên năm thứ hai, ngay cả tiến sĩ trong trường, dù đã vào nhóm khác, đối mặt với loại cơ hội này cũng đều khó có thể từ chối.

Phương Dự chần chờ một chút: “Viện trưởng, tôi có thể hỏi một chút là nhóm chúng ta có yêu cầu chấm công không ạ?”

Đồng Vĩnh Sơn khẽ giật mình, không ngờ Phương Dự lại hỏi một câu hỏi như vậy.

Giang Nam Trăn mắt sáng lên, cười dịu dàng nói: “Phương Dự học đệ, trong nhóm của thầy, thời gian tương đối tự do. Tuy nhiên, các buổi họp nhóm vẫn phải tham gia đúng giờ. Nếu có việc đột xuất, em có thể xin nghỉ, nhưng công việc vẫn phải hoàn thành tốt. Thực ra, khối lượng công việc trong nhóm rất lớn, dù không có yêu cầu chấm công, nhưng thời gian nghỉ ngơi của em cũng sẽ không nhiều đâu.”

Phương Dự thở dài một hơi, nếu chỉ là tham gia họp nhóm, không có yêu cầu chấm công cụ thể, vậy thì dễ dàng rồi.

Về phần lượng công việc lớn?

Đây không phải là có Dữu Tử sao.

Vừa vặn cho “quả cầu” này tìm việc để hoạt động.

Cũng không biết vì cái gì, bây giờ thấy nó nhàn rỗi liền không thoải mái.

“Vậy thì không thành vấn đề, cảm ơn viện trưởng, tôi có thể gia nhập nhóm bất cứ lúc nào.”

Phương Dự vỗ ngực, khiến cơ ngực nảy lên thình thịch.

Bản chuyển ngữ này là tài sản trí tuệ của truyen.free, kính mong quý độc giả không sao chép trái phép.