مراحل نصب و پیکربندی Kafka
کافکا برای مدیریت جریان بلادرنگ داده، جمع آوری دادههای کلان یا تحلیل بلادرنگ داده و یا هردو به کار گرفته میشود. آپاچی کافکا ابتدا در سال 2011 به منظور رفع مشکل کندی زمان ضبط دادهها و مدیریت کردن سیستم پردازش رویداد بلادرنگ توسعه داده شد. در این مقاله مراحل نصب Kafka و پیکربندی آن را شرح خواهیم داد.
پیش از نصب Kafka باید java بر روی ماشین شما نصب شده باشد اگر java بر روی ماشین شما نصب بوده باشد میتوانیم ورژن این برنامه را با دستور زیر مشاهده کنیم.
Java -version#
مراحل نصب و پیکربندی Kafka
مرحله 1
اگر جاوا بر روی سیستم نصب نیست از لینک زیر JDK را دانلود کرده با توجه به مراحل زیر نصب را انجام دهید.
http://www.oracle.com/technetwork/java/javase/downloads/index.html
مرحله 2
حال فایل JDK که دانلود کردیم را با دستور زیر extract میکنیم.
Tar -xvf jdk-su201-linux-x64.tar.gz#
مرحله 3
در این مرحله با توجه به محل قرارگیری برنامه jDK دستورات زیر را وارد کرده تا برنامه برای ما نصب شود.
# Alternatives –install /usr/bin/java java /opt/jd. k1.8.0-201/bin/java 2
Alternatives—config java#
نکته: توصیه می شود برنامههای javas و jar را برای استفادههای جایگزین از java نصب کنید و با توجه به تصویر زیر دستورات را وارد کنید.
مرحله 4
اکثر برنامههای مبتنی بر جاوا از متغیرهای محیطی برای کارهای خود استفاده میکنند متغیر محیطی java را با استفاده از دستورات زیر وارد میکنیم.
نکته: متغیرهای محیطی را در PATH, JAR-HOME, JAVA-HOME تنظیم میکنیم.
نصب zookeeper
پس از نصب جاوا نوبت به نصب zookeeper می رسد که با توجه به مراحل زیر نصب zookeeper را انجام میدهیم.
مرحله 1
برای نصب zookeeper می توان آن از لینک زیر دانلود کرد.
http://zookeeper.apache.org/releases.html
مرحله 2
فایل zookeeper را با دستور زیر extract می کنیم.
مرحله 3
یک دایرکتوری به نام data برای data dir که در zookeeper config file مورد نیاز است را داخل دایرکتوری zookeeper می سازیم.
مرحله 4
در این مرحله configuration file مربوط به zookeeper را تنظیم میکنیم ابتدا وارد دایرکتوری conf شده و فایل zoo-sample.ofg را به zoo.ofg تغییر نام میدهیم.
فایل zoo.ofg را با ویرایشگر vi باز کرده و موارد زیر را در این فایل درج نمایید.
مرحله 5
حال برنامه zookeeper را start میکنیم.
مرحله 6
در این مرحله بعد از start کردن zookeeper با دستور زیر به zookeeper، وصل میشویم.
راه اندازی کافکا
پس از نصب zookeeper حال نوبت start کردن Kafka است.
مرحله 1
برای start کردن Kafka دستور زیر را وارد نمایید.
مرحله 2
در این مرحله ما یک Topic به نام test با یک پارتیشن و یک replication میسازیم برای اینکار باید:
ما با دستور زیر Topic جدیدی را که ساختیم را در لیست Topicهایمان ببینیم.
مرحله 3
Kafka با خط فرمانی که دارد می توان یک فایل یا ورودی استاندارد را در آن وارد کرد. این ورودی به Kafka cluster ارسال میشود.
نکته :هر خط به عنوان یک پیام جداگانه ارسال می شود.
برای انجام ارسال پیام ،دستور و پیام زیر را وارد کنید.
مرحله 4
اگر هر یک از دستورات فوق را در یک ترمینال دیگر اجرا کنید میتوانید پیامها را در ترمینال تولید کننده چاپ و آنها را در ترمینال مصرف کننده مشاهده کنید.
مرحله 5
تا این لحظهها بر روی یک broker کار کردیم اما حال میخواهیم clusterهایمان به 3 node را گسترش دهیم. پس باید:
حال فایلهای جدید را با ویرایشگر vi باز کرده و تنظیمات را اعمال میکنیم.
id, broker id منحصر به فرد و دائمی مربوط به هر cluster است.
ما part و دایرکتوری log را تغییر دادیم تا brokerها تلاش کنند از همان دستگاه اصلی register,port کنند یا دادههای یکدیگر را بازنویسی کنند.
حالا یک topic جدید با Replication factor ایجاد میکنیم.
برای اینکه بدانیم در یک broker, cluster چه کاری انجام میدهد دستور زیر را وارد نمایید.
حال دستور قبل را برای test, topic که ایجاد کردیم اجرا میکنیم.
حال برای انجام تست چند پیام را برای topic جدید ارسال میکنیم
این پیام را میبینید
برای تست broker, fault tolerance که به عنوان leader عمل میکند آن را kill میکنیم.
Leader تبدیل به یک slave شده و replication آن با sync node 1 نیست.
اما پیام ها هنوز هم برای consumerها در دسترس هستند حتی اگر leader در ابتدا پیام را نوشته و بعد down شده باشد برای مشاهده این موضوع دستور زیر را اجرا کنید.
دیدگاهتان را بنویسید