728x90 java9 Embulk Embulk ETL(Extract Transform Load)에 활용되는 툴 중의 하나로 Source 데이터를 Target에 편하게 적재할 수 있도록 지원하는 툴이다. Java 기반 오픈소스로 Java가 설치되어 있어야 하며 java8에서 동작한다, java 9 부터는 공식적으로 지원하지 않는다. 다만 사용은 가능할 것으로 보인다. 데이터 저장공간(csv, excel, DB, file..)을 source로 사용하고 있으며 각각의 접근 방식은 따로 Plugin을 제공하여 사용한다. Embluk 를 사용하면 몇가지 장점이 있다. 데이터의 병렬처리가 가능하다. 데이터 검증 에러 복구 하지만 상세하지 않은 에러로그와 부족한 Reference는 사용하는데 어려움이 따른다. Configuration은 yml 파일을.. 2022. 6. 20. [Spring] AWS S3를 연동하기 spring boot에 AWS S3를 연동하면서 발생했던 버그들과 그 해결방법에 대한 리뷰를 남깁니다. 토이프로젝트나 실제 클라우드 서버에 웹앱을 배포해서 사용하다보면 이미지나 다른 파일을 관리하는데 어려움을 겪을때가 있습니다. 보통 무료 버전 혹은 적은 비용의 서버를 대여받아 사용하기 때문에 적은 용량에 이미지나 파일을 저장해서 사용하는데 굉장히 제약이 많습니다. 그렇다고 큰 용량의 서버를 사용하기엔 비용이 생각보다 합리적이지 않습니다. 합리적인 파일서버를 찾으면서 구글드라이브 활용방법, 윈도우, 등 여러 파일서버가 있는걸 봤는데 개발할때 정보의 차이라던지 무료버전 지원등의 항목에서 AWS S3를 사용하는게 좋겠다는 생각을 했습니다. S3 buket으 생성과 권한설정은 인터넷을 보면서 따라했고 아래는 .. 2022. 1. 3. [Springboot] JPA적용 spring과 Database를 연결하는 방법으로 현업이나 토이프로젝트에서 mybatis, JPA 두가지를 많이 사용하게됩니다. 각자 장단점이 있는데 오늘 주제인 JPA는 데이터베이스의 테이블 구조를 class로 정의할 수 있는 장점이 있습니다. class로 정의하면 JPA가 알아서 Database에 테이블을 만들어주거나 수정하게 됩니다. 또한 Repository라는 클래스를 상속받으면 findBy , findAll 처럼 미리 정의된 메소드로 SQL query를 요청할 수 있고 결과도 리턴받을 수 있습니다. @Transactional(readOnly = true) public interface UserDataRepo extends JpaRepository { public UserEntity findByE.. 2021. 5. 2. [Java Study] 14일차 제네릭(generic) 학습할 것 제네릭 사용법 제네릭 주요 개념 (바운디드 타입, 와일드 카드) 제네릭 메소드 만들기 Erasure Generic 넓게보면 숨쉬듯 생겨나는 버그를 어느정도 방지해주는 역할을 하게 됩니다. 이런 행위가 가능한 이유는 자바를 사용하면서 데이터의 타입 때문에 생기는 버그에 대해 강력하게 방지할 수 있습니다. 이는 미리 받을 데이터의 타입을 확인하기 때문에 가능합니다. 제너릭을 사용하는 이유로 oracle에선 3가지를 공유하고 있습니다. 컴파일 타임에 더욱 강력한 유형 검사 런타임전에 컴파일 단계에서 오류를 발생시켜 런타임에서의 오류를 감소 시킵니다. cast 제거 그동안 타입을 변환할때 casting을 사용했습니다. List list = new ArrayList(); list.add("hello").. 2021. 2. 22. 이전 1 2 3 다음 728x90