목록전체 글 (141)
공부하는 스누피
- 환경: MacOS M1 Terminal1. minikube 설치brew install minikube2. podman 설치 (desktop app 설치하는 게 추천됨)https://podman.io/docs/installation [Podman Installation | PodmanLooking for a GUI? You can find Podman Desktop here.podman.io](https://podman.io/docs/installation)3. 단축키 지정하기alias mkubectl="minikube kubectl --"alias docker="podman"4. minikube 실행 (자원은 podman 초기 세팅할 때 맞췄던 자원 크기 이하로 세팅) mkubectl start --..
sudo apt update sudo apt upgrade -y ## set password of root account passwd ## timezone sudo timedatectl set-timezone Asia/Seoul ## python sudo apt install python3.8 sudo apt install python3.8-pip sudo apt install python3.8-venv 유용한 초기설정 정보들 https://nuggy875.tistory.com/48 Ubuntu에서 python 명령어로 python3 실행 $ vim ~/.bashrc vim이나 아무 택스트 편집기로 .bashrc 파일을 실행시켜 아래 두 줄을 추가해준다. alias python='python3' alia..
Jenkins와 GitHub repo를 연동하면 trigger 발생시 빌드가 실행되면서 PR 페이지에 status check가 자동으로 추가된다. status check는 context(아이디 개념), message, status로 구성되어 있다. context는 status check의 구분 단위라서 status나 message만 바꾸고 싶은 경우 바꾸고자 하는 status check의 context를 사용해야 한다. 이때 status check의 context나 message, status는 Jenkins에서 자동으로 만들어주는거라 원하는 내용이 아닐 수 있는데, 대부분 프로젝트는 이걸 설정 페이지에서 바꿀 수 있지만 Multibranch Pipeline의 경우 불가능해서 JenkinsFile에서 커..
SonarQube 8.9 연동 가이드
Overview SonarQube는 코드 분석으로 코드 품질과 보안을 향상시켜주는 소프트웨어다. 무료 버전인 Community Edition이 있고, 유료 버전인 Developer나 Enterprise도 있다. IntelliJ checkstyle같은 IDE plugin으로는 코드 품질 검사에 한계가 있는데, SonarQube에서는 코드 정적 분석뿐만 아니라 CI 툴과 연동하여 검사를 자동화시킬 수 있다. Sonarqube Community Branch Plugin으로 GitHub에 분석 결과를 comment로 남길 수도 있어 편리하다. 팀 과제로 SonarQube 연동 작업을 했던 내용을 간추려 가이드로 정리해보았다. SonarQube 설치 Linux CentOS7 환경에서 진행하였음 Prerequisi..
- Spark 2.1x부터 사용 가능한 from_json을 활용한다. - json 데이터를 위한 스키마를 먼저 정의해 두어야 한다. from pyspark.sql.types import StructType, StructField, StringType from pyspark.sql.functions import from_json, col df = spark.createDataFrame(dict_data) # json 데이터를 위한 스키마를 정의한다. schema = StructType( [ StructField('key1', StringType(), True), StructField('key1', StringType(), True), ] ) # from_json으로 json 데이터를 스키마에 맞추어 dat..
- Python 환경 ## DataFrame이란? 정형화된 scheme을 갖고 있는 Spark 데이터 구조. ## Dictionary를 DataFrame으로 만들기 data = [{'color': 'yellow', 'weight': 200}, {'color': 'yellow', 'weight': 200}] df = spark.createDataFrame(data) ## DataFrame 보기 # table 형태로 dataframe의 모든 데이터를 보여 준다. df.show() # dataframe에서 특정 인덱스의 데이터를 가져온다. df.take(index) # data schema를 볼 수 있다. df.printSchema() ## 데이터 필터링하기 - 필터링은 select * where~과 같은 역..