IT_공부하자

1. ItemWriter  란?   - 처리 결과를 출력(저장) 2. ItemReader 종류   - FlatFileItemWriter : 파일의 고정 위치로 정의되거나 일부 특수 문자(예: 쉼표)로 구분된 데이터 필드가 있는 레코드 @Beanpublic FlatFileItemWriter itemWriter() { return new FlatFileItemWriterBuilder() .name("itemWriter") .resource(new FileSystemResource("result/output.txt")) .lineAggregator(new PassThroughLineAggregator()) .buil..

1. ItemProcessor 란?   - 입력 받은 데이터를 저장하기 전 처리  public interface ItemProcessor { O process(I item) throws Exception;}  2. ItemProcessor 사용법 @Beanpublic Job ioSampleJob(JobRepository jobRepository, Step step1) { return new JobBuilder("ioSampleJob", jobRepository) .start(step1) .build();}@Beanpublic Step step1(JobRepository jobRepository, PlatformTransactionManager transactionManager) { ret..

1. ItemReader 란?   - chunk 기반 작업에서 데이터를 읽어 들일 때, 사용하는 인터페이스  - 호출시 하나의 결과 데이터를 반환 ( null 이 나올 때 까지 )   2.ItemReader 종류   FlatFileItemReader : 파일의 고정 위치로 정의되거나 일부 특수 문자(예: 쉼표)로 구분된 데이터 필드가 있는 레코드 LineMapper : 단위 구분LineTokenizer : 데이터를 구분자 기준으로 토큰화FieldSetMapper : 객체로 매핑할 때 사용예시 코드Resource resource = new FileSystemResource("resources/rawdata.csv");public class DefaultLineMapper implements LineMapp..

* 참고 사이트 : https://docs.spring.io/spring-batch/reference/index.html Overview :: Spring BatchThe reference documentation is divided into several sections:docs.spring.io   1. Job 이란?    -  JobInstance, JobExecution 으로 구성  JobInstance : 논리적 작업 실행의 개념 ( JobParameter를 포함 )  JobExecution : 실제 Job 의 첫 번째 실행 JobExecution 은 다음과 같은 속성값을 가짐   -  실제 관련 코드 (Job 실행)@Scheduled(cron = "0 0 18 * * *") public ..

* 참고 사이트 https://docs.spring.io/spring-batch/reference/domain.html The Domain Language of Batch :: Spring BatchTo any experienced batch architect, the overall concepts of batch processing used in Spring Batch should be familiar and comfortable. There are “Jobs” and “Steps” and developer-supplied processing units called ItemReader and ItemWriter. However, bedocs.spring.io  1. 스프링 배치란?   - 일괄 처리를 ..

1. Kibnan 란?   - Elasticsearch 의 공식 프론트 엔드  - 오픈 소스 분석 및 시각화 제공  - Angular JS 로 작성  - 통상적으로 Elasticsearch 와 같은 version 사용  -  기본 port는 5601  2. Kibnan 에서 Elasticsearch 요청하기   - 좌측 메뉴 네비바에서 Dev Tools 를 클릭     - 다양한 쿼리문을 통하여 Elasticsearch 를 제어할 수 있다. 3. 검색 대시보드   - 좌측 메뉴 네비바에서 Discover 를 클릭     - 검색 bar 를 이용하여 검색을 할 수 있다.   - 생성일을 기준으로 설정하여 시각화 할 수도 있다.

1. 가장 기본적인 검색 방법  - 모든 문서 조회GET tripdoc/_search{ "query": { "match_all": {} }}   - 결과   2. 특정 필드 검색  - "match" 를 이용하여 검색 대상 field 를 지정하고 검색할 값을 입력한다.  - "explain" 을 사용하여 검색 결과 관련 설명도 확인 할 수 있다. POST /trip_recommend/_search{ "query": { "match": { "content": "특별한 서울 여행" } }, "explain": true}   - 검색 결과   3. 불리언 쿼리  - must : 반드시 충족해야 하는 조건 ( AND ) - must_not : 반드시 일치하지 않는 조건 - sho..

1. Index 란? - DataBase 와 유사 - API 로 설정 가능 2. Index 설정 - PUT [색인명] 을 통하여 생성 가능 - shard와 replica 갯수를 설정 PUT tripdoc{"settings": { "index":{ "number_of_shards":5, "number_of_replicas":1 } }}   - 추가로 Mapping 을 지정할 수 있다. PUT tripdoc{ "mappings": { "properties": { "id": { "type": "keyword" }, "trip_id": { "type": "long" }, "..

1. mapping 정의 란?  -  field 의 type, Analyzer, Search Analyzer 지정 등 field 관련 설정 -  한번 설정되면 변경 불가( version 으로 관리 )  2. Data type 종류  3. Mapping 예시 PUT tripdoc{ "mappings": { "properties": { "id": { "type": "keyword" }, "trip_id": { "type": "long" }, "title": { "type": "text", "copy_to": ["eng_kor_title_suggest", "chosung_t..

* 참고 사이트https://www.elastic.co/guide/kr/elasticsearch/reference/5.4/gs-basic-concepts.html 기본 개념 | Elasticsearch 설명서 [5.4] | Elastic각 Elasticsearch 샤드는 Lucene 색인입니다. 단일 Lucene 색인이 포함할 수 있는 문서 수의 최대 한도가 있습니다. LUCENE-5843에 따르면 2,147,483,519`개(= Integer.MAX_VALUE - 128)입니다. {ref}/cat-shards.html[`_cat/shardswww.elastic.co  1. elasticsearch 란?   -  루씬 기반의 분산 검색 서버(오픈소스) - 역 인덱스 - NRT(Near Realtime ;..