گنو/لینوکسشبکه و امنیت

مراحل نصب و پیکربندی Kafka

کافکا برای مدیریت جریان بلادرنگ داده، جمع آوری داده‌های کلان یا تحلیل بلادرنگ داده و یا هردو به کار گرفته می‌شود. آپاچی کافکا ابتدا در سال ۲۰۱۱ به منظور رفع مشکل کندی زمان ضبط داده‌ها و  مدیریت کردن سیستم پردازش رویداد بلادرنگ توسعه داده شد. در این مقاله مراحل نصب Kafka و پیکربندی آن را شرح خواهیم داد.

پیش از نصب Kafka باید java بر روی ماشین شما نصب شده باشد اگر java بر روی ماشین شما نصب بوده باشد می‌توانیم ورژن این برنامه را با دستور زیر مشاهده کنیم.

Java -version#

مراحل نصب و پیکربندی Kafka

مرحله ۱

اگر جاوا بر روی سیستم نصب نیست از لینک زیر JDK را دانلود کرده با توجه به مراحل زیر نصب را انجام دهید.

http://www.oracle.com/technetwork/java/javase/downloads/index.html

نصب Kafka

مرحله ۲

حال فایل JDK که دانلود کردیم را با دستور زیر extract می‌کنیم.

Tar -xvf jdk-su201-linux-x64.tar.gz#

نصب Kafka

مرحله ۳

در این مرحله با توجه به محل قرارگیری برنامه jDK دستورات زیر را وارد کرده تا برنامه برای ما نصب شود.

# Alternatives –install /usr/bin/java   java /opt/jd. k1.8.0-201/bin/java 2

Alternatives—config java#

نکته: توصیه می شود برنامه‌های javas و jar را برای استفاده‌های جایگزین از java نصب کنید و با توجه به تصویر زیر دستورات را وارد کنید.

نصب Kafka

مرحله ۴

اکثر برنامه‌های مبتنی بر جاوا از متغیرهای محیطی برای کارهای خود استفاده می‌کنند متغیر محیطی java را با استفاده از دستورات زیر وارد می‌کنیم.

نکته: متغیرهای محیطی را در PATH, JAR-HOME, JAVA-HOME تنظیم می‌کنیم.

نصب Kafka

نصب zookeeper

پس از نصب جاوا نوبت به نصب zookeeper می رسد که با توجه به مراحل زیر نصب zookeeper را انجام می‌دهیم.

مرحله ۱

برای نصب zookeeper می توان آن از لینک زیر دانلود کرد.

http://zookeeper.apache.org/releases.html

مرحله ۲

فایل zookeeper را با دستور زیر extract می کنیم.

نصب Kafka

نصب Kafka

مرحله ۳

یک دایرکتوری به نام data برای data dir که در zookeeper config file مورد نیاز است را داخل دایرکتوری zookeeper می سازیم.

نصب Kafka

مرحله ۴

در این مرحله configuration file مربوط به zookeeper را تنظیم می‌کنیم ابتدا وارد دایرکتوری conf شده و فایل zoo-sample.ofg را به zoo.ofg تغییر نام می‌دهیم.

نصب Kafka

فایل zoo.ofg را با ویرایشگر vi باز کرده و موارد زیر را در این فایل درج نمایید.

نصب Kafka

نصب Kafka

نصب Kafka

مرحله ۵

حال برنامه zookeeper را start می‌کنیم.

نصب Kafka

مرحله ۶

در این مرحله بعد از start کردن zookeeper با دستور زیر به zookeeper، وصل می‌شویم.

نصب Kafka

نصب Kafka

راه اندازی کافکا

پس از نصب zookeeper حال نوبت start کردن Kafka است.

مرحله ۱

برای start کردن Kafka دستور زیر را وارد نمایید.

نصب Kafka

مرحله ۲

در این مرحله ما یک Topic به نام test با یک پارتیشن و یک replication می‌سازیم برای اینکار باید:

نصب Kafka

ما با دستور زیر Topic جدیدی را که ساختیم را در لیست Topicهایمان ببینیم.

نصب Kafka

مرحله ۳

Kafka با خط فرمانی که دارد می توان یک فایل یا ورودی استاندارد را در آن وارد کرد. این ورودی به Kafka cluster ارسال می‌شود.

نکته :هر خط به عنوان یک پیام جداگانه ارسال می شود.

برای انجام ارسال پیام ،دستور و پیام زیر را وارد کنید.

نصب Kafka

مرحله ۴

اگر هر یک از دستورات فوق را در یک ترمینال دیگر اجرا کنید می‌توانید پیام‌ها را در ترمینال تولید کننده چاپ و آن‌ها را در ترمینال مصرف کننده مشاهده کنید.

نصب Kafka

مرحله ۵

تا این لحظه‌ها بر روی یک broker کار کردیم اما حال می‌خواهیم  clusterهایمان به ۳ node را گسترش دهیم. پس باید:

نصب Kafka

حال فایل‌های جدید را با ویرایشگر vi باز کرده و تنظیمات را اعمال می‌کنیم.

نصب Kafka

نصب Kafka

نصب Kafka

نصب Kafka

نصب Kafka

نصب Kafka

id, broker id منحصر به فرد و دائمی مربوط به هر cluster است.

ما part و دایرکتوری log را تغییر دادیم تا brokerها تلاش کنند از همان دستگاه اصلی register,port کنند یا داده‌های یکدیگر را بازنویسی کنند.

نصب Kafka

نصب Kafka

حالا یک topic جدید با Replication factor ایجاد می‌کنیم.

نصب Kafka

برای اینکه بدانیم در یک broker, cluster چه کاری انجام می‌دهد دستور زیر را وارد نمایید.

نصب Kafka

نصب Kafka

حال دستور قبل را برای test, topic که ایجاد کردیم اجرا می‌کنیم.

نصب Kafka

حال برای انجام تست چند پیام را برای topic جدید ارسال می‌کنیم

نصب Kafka

این پیام را می‌بینید

نصب Kafka

برای تست broker, fault tolerance که به عنوان leader عمل می‌کند آن را kill می‌کنیم.

نصب Kafka

Leader تبدیل به یک slave شده و replication آن با sync node 1 نیست.

نصب Kafka

اما پیام ها هنوز هم برای consumerها در دسترس هستند حتی اگر leader در ابتدا پیام را نوشته و بعد down شده باشد برای مشاهده این موضوع دستور زیر را اجرا کنید.

نصب Kafka

نوشته: علیرضا قنبری‌پور

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این سایت از اکیسمت برای کاهش هرزنامه استفاده می کند. بیاموزید که چگونه اطلاعات دیدگاه های شما پردازش می‌شوند.

دکمه بازگشت به بالا