เรากำลังทำงานกับคลัสเตอร์ Hadoop ขนาดใหญ่

เรามีเครื่องดาต้าโหนด 736 เครื่อง และแต่ละโหนดมี 16 คอร์ X 2 เธรด

ในบางเครื่องเราเห็นโหลด CPU โดยเฉลี่ย (98-128 เป็นเวลา 5 นาที)

หลังจากการตรวจสอบอย่างละเอียด เราพบว่า:

no HW problem
no Disk proble
no network problem
no infra problem

สิ่งที่เรายังไม่ได้ตรวจสอบคือการปรับแต่งพารามิเตอร์ linux และปรับแต่งพารามิเตอร์เคอร์เนล

อะไรคือพารามิเตอร์หรือพารามิเตอร์เคอร์เนลใด ๆ ที่สามารถช่วยให้เครื่องได้รับ CPU ที่ดีที่ทำงานกับค่าเฉลี่ยการโหลด CPU LOW ส่วนใหญ่

http://linuxrealtime.org/index.php/Improving_the_Real-Time_Properties

answer

การปรับแต่งประสิทธิภาพเป็นพื้นที่ที่ซับซ้อนและมีขนาดใหญ่ ฮาร์ดแวร์ พารามิเตอร์เคอร์เนล การตั้งค่าซอฟต์แวร์ สถาปัตยกรรมการตั้งค่า และปัจจัยอื่นๆ จะต้องนำมาพิจารณา

ขณะที่คุณกำลังใช้งานการตั้งค่าขนาดใหญ่ คุณควรเจาะลึกลงไปในพื้นที่นั้นมากขึ้น ดังนั้นผมขอแนะนำให้เริ่มต้นด้วยการอ่านคู่มือการปรับแต่งประสิทธิภาพ RHEL สิ่งนี้ควรเป็นแนวทางที่ดีในหัวข้อ พร้อมคำแนะนำและแนวคิดต่างๆ

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/performance_tuning_guide/index

คำถามของคุณมีข้อมูลและรายละเอียดน้อยเกินไปที่จะให้คำแนะนำที่สมเหตุสมผลในทิศทางของการปรับพารามิเตอร์เคอร์เนล

ฉันคิดว่าคุณกำลังเรียกใช้งาน hadoop ในเวลาที่ CPU พุ่งขึ้น หากเป็นเช่นนั้น การใช้ทรัพยากรขึ้นอยู่กับความซับซ้อนของงานของงานและพารามิเตอร์ที่กำหนดไว้ ฉันหวังว่าคุณกำลังใช้เส้นด้ายอยู่ด้วย? เส้นด้ายเป็นแอปพลิเคชั่นที่เน้นทรัพยากร โปรดใช้คิวทรัพยากรเพื่อควบคุมการใช้ทรัพยากร