Apache Kafka (5 분)

몇 분 만에 Apache Kafka 시작하기

Technofunnel 은로컬 시스템에서Apache Kafka Server 를시작하기위한 또 다른 기사를 제공합니다. 이 기사는 Kafka를 실행하는 쉬운 단계를 제공하는 데 중점을 둡니다. 이 기사에서는 Kafka 소비자 및 생산자를 생성하는 것과 함께 Windows에서 Apache Kafka 서버를 실행하는 데 필요한 일련의 단계와 구성을 추가합니다.

Kafka 설정 및 작업. Kafka는 무엇입니까?

Kafka는 무엇입니까

Apache Kafka는 데이터 스트림을 게시하고 구독하는 데 사용할 수 있는 분산 스트리밍 플랫폼 입니다. Kafka는 정말 빠르고 우수한 내결함성을 제공합니다. 대량의 데이터를 처리 할 수 ​​있으며 실시간 데이터 추적에 사용할 수 있습니다. Apache Kafka는 로그 모니터링, 실시간 트래픽 추적, 실시간 데이터 공유 관리에 사용할 수 있습니다 .

K afka 는 요즘 대기업에서 사용하는 높은 처리량과 신뢰성높은 시스템을 가지고 있습니다. 실제 애플리케이션 내에서 설정하고 작업하는 것은 간단합니다.

Kafka 설정 및 설치

1. 아래 링크에서 Windows와 함께 Java JDK 8을 설치합니다.

2. 다음 URL에서 Kafka를 다운로드합니다.

3. 로컬 시스템에서 Kafka 폴더 압축 해제

Java JDK가 설치되면 일부 로컬 디렉토리에서 Kafka 폴더의 압축을 풉니 다 . 이 데모를 위해“C : \”폴더의 압축을 풉니 다.

Kafka 폴더 압축 해제

4. Kafka에 대한 구성 수정

일부 구성을 추가로 수정해야합니다. “config”폴더 에서 아래 설명 된 구성으로 “server.properties” 파일을 업데이트합니다 .

Kafka 서버용 포트 설정

5. 구성 파일에서 LOG 디렉토리 업데이트

또한 현재 Kafka 저장소를 표시하기 위해 "log.dirs" 속성을 수정해야 합니다. "C : \"에서 파일의 압축을 풀었으므로 구성이 "C : \ kafka_2.12–2.4.0"으로 업데이트되었습니다.

Kafka 로그 저장소 설정

설정이 완료되면 다음 명령을 실행하여 주제에 대한 소비자 및 생산자와 함께 Kafka 서버와 함께 기본 시스템을 실행하고 실행해야합니다.

Apache Zookeeper 실행 중…

Zookeeper 작업

Apache ZookeeperApache에서 개발 한 소프트웨어로, 이름 지정 및 구성 데이터를 유지하고 분산 시스템 내에서 동기화를 제공하는 데 사용되는 중앙 서비스 역할을합니다. 사육사는 의 트랙을 유지 카프카 클러스터 노드의 상태를 하고 또한 유지 카프카의 주제, 파티션 등을 추적 .

pacheZookeeper 자체는 여러 클라이언트가 동시 읽기 및 쓰기 및 시스템 내에서 공유 구성 서비스의 역할을 수행 할 수있다. 사육사 원자 방송 (ZAB) 프로토콜 가능 사육사는 원자 방송 시스템의 역할 및 질서 업데이트를 발행 할 수있어 전체 시스템의 뇌이다.

로컬 시스템에서 ZooKeeper 실행

실행 사육사하는 것은 매우 간단합니다 , 우리는 다음과 같은 명령을 실행해야합니다. Windows로 작업하고 있으므로 "bin"디렉토리의 "windows"폴더로 이동해야합니다.

로부터 창은 폴더, 우리는 실행해야합니다 :

zookeeper-server-start.bat ../../config/zookeeper.properties

** 명령은 "window"폴더에서 실행해야합니다.

이 명령은 “C : \ kafka_2.12–2.4.0 \ config \ zookeeper.properties”에 정의 된 구성 설정으로 Zookeeper 서버 실행을 시작합니다 . Zookeeper가 실행되면 "Kafka"서버를 실행해야합니다. 위의 명령 은 다음 포트에서 ZooKeeper를 실행합니다 : 2181

Apache Kafka 서버 실행 중…

Kafka 서버를 실행하려면 zookeeper를 백그라운드에서 실행하고 다른 명령 프롬프트를 열고 다음을 실행해야합니다.

kafka-server-start.bat ../../config/server.properties

** 명령은 "window"폴더에서 실행해야합니다.

명령이 실행되고 나면 " server.properties "구성 파일에 지정된 설정을 사용하여 "9092"포트에서 Kafka 서버가 실행 됩니다.

Kafka에서 주제를 만드는 중…

Kafka의 주제 는 메시지가 게시되고 저장되는 카테고리 / 피드 이름을 나타냅니다. Kafka 메시징 아키텍처는 주제로 구성됩니다. Kafka에서주고받은 레코드는 특정 주제에 속합니다. Kafka의 생산자는 특정 주제에 대한 레코드를 작성하고 관심있는 소비자는 구독 된 주제에서 레코드를 읽습니다. 수신 또는 전송 된 각 메시지는 주제에 속하므로 소비자 또는 생산자와 작업하기 전에 먼저 주제를 만들어야합니다.

kafka-topics.bat — 만들기 — zookeeper localhost : 2181 — 복제 요소 1 — 파티션 1 — 주제 testotherdata

Kafka 주제 만들기

위의 명령에서 우리는 단일 Kafka 서버를 생성하고 있기 때문에“replication-factor”를 1로 설정하고 단일“파티션”을 생성해야합니다. 주제가 생성되면 다음 명령을 실행하여 주제가 생성되었는지 확인할 수 있습니다.

kafka-topics.bat — 목록 — zookeeper localhost : 2181

Kafka 주제 나열

Kafka 생산자 만들기

Kafka 데이터 생산자 및 소비자

이제 사용 가능한 주제가 있으므로 이제이 주제 스트림에 데이터를 공급할 "Producer"를 만들 수 있습니다. 생산자는 레코드를 생성 할 것이며이 레코드는 지정된 주제에 대한 레코드로 Kafka 서버에 추가됩니다.

kafka-console-producer.bat — broker-list localhost : 9092 — 주제 testdataother

위의 명령에서 "testdataother"주제에 대한 생산자를 생성합니다. 이제 생산자는이 주제에 레코드를 추가 할 수 있습니다.

Kafka 소비자 생성

Kafka 소비자 및 생산자…

생산자가 추가 한 레코드는 동일한 주제에 관심이있는 일부 소비자가 사용할 수 있습니다. 생산자를 사용할 수있게되면 "testdataother"주제의 레코드를 사용하는 소비자를 만들 수 있습니다.

kafka-console-consumer.bat — 부트 스트랩 서버 localhost : 9092 — 주제 testdataother

이제 소비자를 만들었으므로 생산자에서 들어오는 데이터 스트림을 사용할 수 있습니다. Producer가 주제에 레코드를 추가 할 때마다 소비자가 게시 된 데이터를 수신 할 수 있도록 "주제"에 대해 여러 소비자를 만들 수 있습니다.

결론

Kafka로 작업하는 것은 쉽고 안정적입니다. 이 기사를 보내 주셔서 감사합니다. 더 많은 기사를 위해 연결 유지

참조 :

Suggested posts

데이터 포인트가 얼마나 극단적입니까?

특이 치 및 모델 선택

데이터 포인트가 얼마나 극단적입니까?

이상치 및 모델 선택 회귀를 실행할 수있는 것은 하나이지만 올바른 모델과 올바른 데이터를 선택할 수 있다는 것은 또 다른 문제입니다. 곡선의 맨 끝에있는 데이터 포인트가 실수로 여분의 제로 (인간 오류)를 기록한 사람 또는 블랙 스완 이벤트 (드물지만 중요한 이벤트)에서 가져온 것임을 어떻게 알 수 있습니까? 회귀 모델에 유지하면서 여전히 작동하는 예측을 가질 수 있습니까? 이 기사에서 알아 보자.

Express.js 시작하기

Express.js 시작하기

Express는 웹 및 모바일 앱을 만드는 경험을 즐겁게 만드는 기능 세트가 포함 된 Node.js 프레임 워크입니다.

Related posts

"실용적인 프로그래머"의 5 가지 필수 사항

역대 베스트셀러 코딩 북의 요점

"실용적인 프로그래머"의 5 가지 필수 사항

Pragmatic Programmer는 1999 년에 처음 출판되었으며 이후 역대 최고의 프로그래밍 책으로 선정되었습니다. 저자 Andy Hunt와 David Thomas는 Agile Manifesto의 원저자 중 하나였으며 몇 가지 심각한 자격을 가지고 있습니다.

대규모 GraphQL 쿼리 공격으로부터 보호

공격자가 공개적으로 사용 가능한 GraphQL 인터페이스를 사용하여 사이트를 스크랩하거나 서비스 거부 공격을 실행하는 방법에 대해 알아보십시오. 이들은 4 가지 방법 중 하나로이를 수행 할 수 있습니다. 단일 대형 쿼리를 신중하게 구성하여 실행하고, 관련 데이터를 가져올 수있는 병렬 쿼리를 많이 작성하고, 일괄 요청을 사용하여 많은 쿼리를 연속적으로 실행하고, 마지막으로 많은 요청을 보냅니다.

기술 인터뷰의 사회적 구성 요소

코딩 문제는 스트레스가 많지만 스트레스에 대한 당신의 반응은 당신의 기술적 능력보다 더 크게 말합니다.

기술 인터뷰의 사회적 구성 요소

기술 업계의 직책을 위해 인터뷰 할 때 일반적으로 제안을 고려하기 전에 최소한 3 차례의 인터뷰를 거치게됩니다. 라운드는 일반적으로 다음과 같습니다. 그렇게 생각하면 잘못된 것입니다.

훌륭한 개발자의 3 가지 행동 특성

훌륭한 개발자의 3 가지 행동 특성

훌륭한 개발자를 만드는 비 기술적 인 것들 나는이 기사를 작성하는 것을 한동안 미루고 있습니다. 나는 그것을 작성할 자격이 있다고 생각하지 못했습니다. 오늘은 쓸 때라고 생각했습니다.