DataEngineering5 [NiFi] FlowFile과 Attributes의 정확한 개념 FlowFile과 Attribute가 정확히 개념이 잡히지 않아 쓰는 글 .. FlowFile A FlowFile is a logical notion that correlates a piece of data with a set of Attributes about that data. Such attributes include a FlowFile's unique identifier, as well as its name, size, and any number of other flow-specific values. 해석 : FlowFile은 데이터를 해당 데이터에 대한 속성set와 연관시키는 논리적 개념입니다. 이러한 속성에는 FlowFile의 고유 식별자, 이름, 크기 및 기타 흐름 관련 값이 포함됩니다. A.. 2021. 12. 28. [NiFi] invokeHTTP로 REST API를 받아와서 DB에 INSERT하기 전체적인 흐름 REST API를 불러와서 -> json형식으로 변환 -> 데이터베이스에 삽입 환경설정 OS : CentOS 7 DBMS : MySQL 전체적인 흐름 불러올 open api 고르기 필자는 https://aviationstack.com 사이트에서 비행기 정보를 불러오는 api를 이용 무료 회원가입 하고 예시를 확인해줍니다. 회원가입 하면 본인의 access_key 확인 가능 &기호를 통해 옵션을 지정 가능. end_point를 바꿔서 다른걸 불러 올 수도있다. 사용가능한 end_point들 GenerateFlowFile설정 access_key 라는 property를 추가해 본인의 access_key 작성 더 추가할 옵션도 지정해줬기 때문에 flight_status와 limit도 추가했다. s.. 2021. 12. 28. [NiFi] CentOS7 NiFi DBCPConnectionPool로 Database연동(1) 나의 우당탕탕 nifi에서 dbcpconnectionpool을 이용하여 mysql과 연동하기,, 학습목표 Controller Service의 개념 DBCPConnectionPool의 개념 ConnectionPool의 개념 NiFi에서 controller service를 이용하여 DB Connection Pool을 관리 DBCPConnectionPool을 이용하여 DB에 연동 들어가기 이전에 ... NiFi 에서 Controller service란? controller service는 reporting task(보고 작업), processor(NiFi에서의 processor 개념)에서 사용할 수 있는 shared service(공유 서비스)이다. 프로그램을 구성하거나 작업할때에 활용할 수 있도록 만들어놓은.. 2021. 12. 28. [NiFi] CentOS 7에 NiFi 설치하기 1. 시스템 업그레이드 $ yum -y update 2. NiFi 다운로드 후 압출 풀기 wget으로 바로 다운 20/09/11기준 최신 release 1.12.0 을 받았다 $ https://archive.apache.org/dist/nifi/1.12.0/nifi-1.12.0-bin.tar.gz $ tar xvfz nifi-1.12.0-bin.tar.gz 3. NiFi 실행 전 JAVA다운 후 JAVA_HOME설정 Java 1.8 다운로드 $ yum install java-1.8.0-openjdk-devel.x86_64 $ javac -version javac 1.8.0_262 @JAVA_HOME 환경변수 설정과 javac 위치 확인 $ readlink -f /bin/javac /usr/lib/jvm/.. 2021. 12. 28. [Apache NiFi] 기본 개념 Apache NiFi (Niagara Files -> NiFi) Apache NiFi는 NSA(National Security Agency)에서 Apache에 기증한 Dataflow 엔진이다. 복잡해지는 기업의 시스템들에서 신속하고, 유실없는 데이터 전송이 점점 더 중요해지고 있다. 빅데이터 시스템도 마찬가지로 데이터의 전송 경로가 더 복잡해지고, 실시간 처리가 중요해지는 시점에 Apache NiFi는 훌륭한 솔루션. _한줄설명 : 시스템 간 데이터 전달 및 가공을 위한 실시간 데이터플로우 엔진. FBP 개념 도입. Data Flow를 직관적이며 간단하게 구현 및 관리 가능 The core concepts of NiFi 나이파이의 근본적인 설계 개념은 Flow Based Programming(fbp)의 .. 2021. 12. 28. 이전 1 다음
