ฉันกำลังพยายามหาวิธีที่ดีที่สุดในการตั้งค่าศูนย์กลางสำหรับจัดเก็บและซักถามบันทึกของเซิร์ฟเวอร์ syslog, Apache, MySQL เป็นต้น

ฉันพบตัวเลือกต่างๆ สองสามตัว แต่ฉันไม่แน่ใจว่าตัวเลือกใดดีที่สุด ฉันกำลังมองหาบางอย่างที่ติดตั้งง่ายและอัปเดตอยู่เสมอบนเครื่องเสมือนหลายเครื่อง ฉันสามารถเพิ่มลงในเทมเพลต VM ได้ แต่ฉันต้องการให้ติดตั้งได้ง่ายเพื่อลดความซับซ้อนของ VM

ตัวเลือกที่ฉันพบคือ:

  • syslogd
  • syslog-ng
  • rsyslog
  • syslogd/syslog-ng/rsyslog ไปยัง logstash/ElasticSearch
  • ตัวแทน logstash ในแต่ละบันทึก "ไคลเอนต์" เพื่อส่งไปยัง Redis/logstash/ElasticSearch

และการเรียงสับเปลี่ยนทุกประเภทข้างต้น

อะไรคือความยืดหยุ่นและเบาที่สุดจากมุมมองของบันทึก "ไคลเอนต์"
ฉันต้องการหลีกเลี่ยงสถานการณ์ที่บันทึก "ไคลเอนต์" หยุดทำงานเพราะพวกเขาไม่สามารถส่งบันทึกไปยังเซิร์ฟเวอร์การบันทึกได้ นอกจากนี้ ฉันยังคงต้องการเก็บการบันทึกในเครื่องและการหมุน/การเก็บรักษาที่จัดเตรียมโดย logrotate ไว้

ความคิด / ข้อเสนอแนะหรือเหตุผลใด ๆ สำหรับหรือต่อต้านข้อใดข้อหนึ่งข้างต้น?
หรือข้อเสนอแนะของโครงสร้างที่แตกต่างอย่างสิ้นเชิง?

answer

ฉันจะบอกว่าตัวเลือกที่น่าเชื่อถือที่สุด ณ จุดนี้ (ไม่รวมโซลูชันซอฟต์แวร์ Comerial) นั้นบริสุทธิ์ syslog-ng

ฉันคิดว่าสิ่งที่ดีที่สุดคือ syslog-ng กำหนดค่าง่าย บำรุงรักษาง่ายมาก เครื่องมือที่ดีและทรงพลัง BTW หากคุณมีบันทึกไม่เกิน 500M ต่อวัน คุณสามารถดู splunk ได้ เพียงแค่เพิ่มตัวส่งต่อบันทึกไปยังอิมเมจเครื่องและกำหนดค่าไฟล์สองสามไฟล์ มันจะทำงานได้อย่างมหัศจรรย์ :) มันมีมากมาย แอปพลิเคชันสำหรับประเภทบันทึกประเภทต่างๆ การแยกวิเคราะห์ที่ดี ฯลฯ ทั้งหมดขึ้นอยู่กับสิ่งที่คุณต้องการ

เมื่อไม่นานมานี้ เราใช้ rsyslog ร่วมกับgreylogสำหรับการบันทึกแบบรวมศูนย์ มันทำงานได้ดีมาก สิ่งนี้ใช้โปรโตคอล GELF ซึ่งมีข้อดีของการมีไลบรารีในภาษาโปรแกรมต่างๆ

ที่กล่าวว่าเรากำลังเปลี่ยนไปใช้Logglyเนื่องจากมีราคาถูกกว่าการบำรุงรักษาเซิร์ฟเวอร์การบันทึกแบบรวมศูนย์ของเราเอง เนื่องจาก Loggly แนะนำ syslog-ng เรากำลังประเมินการเปลี่ยนไปใช้ระบบนั้นเช่นกัน แม้ว่า rsyslog จะดูดีขึ้นเล็กน้อย - เช่น สูตร rsyslog สำหรับสิ่งต่างๆ เช่น บันทึกแคชเมื่อระบบเครือข่ายสูญหาย และรองรับ GELF

rsyslog ล่าสุดอาจเป็นหนึ่งในตัวเลือกที่เร็วและเบาที่สุด คุณจะได้รับดิสก์และหน่วยความจำบัฟเฟอร์ฟรีและคุณก็สามารถส่งออกไปยัง ElasticSearch ผ่านomelasticsearch นี่คือบล็อกโพสต์ที่อาจช่วยให้คุณเริ่มต้นได้ดังนี้:

http://blog.sematext.com/2013/07/01/recipe-rsyslog-elasticsearch-kibana/