가누의 코딩로그

1. Table : 데이터를 행과 열로 정리한 구조테이블의 6가지 특징- 값은 항상 atomic(원자적) 이어야 함- 한 column의 값들은 전부 같은 유형(uniform) - 행 순서 의미 X- 열 순서 의미 X- 각 레코드는 row 번호가 아닌 key로 식별해야 함- 각 컬럼은 domain/type/format을 가짐Domain: 값의 범위(예: 0~100, “M or F”)Type: 숫자, 문자열, 날짜Format: ‘YYYY-MM-DD’ 같은 표기 형식 2. SQL은 프로그래밍 언어가 아니라 "데이터 관리용 언어"- Data Definition Language(데이터 정의 언어) ex) CREATE TABLE, DROP TABLE- Data Query Language(데이터 질 언어) ex) S..

1. SYCL이란?SYstem-wide Compute LanguageC++를 기반으로 CPU, GPU 등 다양한 하드웨어에서 병렬 컴퓨팅을 수행하기 위한 고수준의 단일 소스 프로그래밍 모델 OpenMP는 #pragma 어쩌구저쩌구 딸깍 하면 끝나지만 얘는 아님그러나 더 세밀한 병렬화가 가능 2. 기본 구조 SYCL은 work-item(=thread) 단위로 일함 work-item (1) work-item :private memory 보유 (2) work-group :local memory 보유 (3) ND-range :ND-range는 병렬 연산이 수행되는 전체 반복 공간 차원 수 존재 (1D, 2D, 3D) global(constant) memory 보유 Global range : 전체 work..

1. Offloading to GPU 오프로딩이란 무거운 일을 다른 곳으로 넘기는 것을 말한다. 여기서는 CPU가 하던 계산을 GPU에게 짬때리는 것이다. #pragma omp target map(to:a[0:N]) map(from:b[0:N]){ for (int i=0; i#pragma omp target : GPU로 병렬화 map(to:a[0:N]) : CPU 메모리의 a배열을 GPU로 복사 map(from:b[0:N]) :계산이 끝나면 GPU에서 CPU로 b를 가져오기 2. SIMD 명시 #pragma omp parallel for simd 3. teams, distribute, and loop 배경 지식!!cpu 안에는 코어가 있듯이, gpu 안에는 SM(Streaming Multiproc..

1. OpenMP란?CPU,GPU의 멀티스레딩 병렬처리를 도와주는 APIC, C++, Fortran 코드에서 사용된다. 2. 기본 구조 : 지시문, 런타임 함수, 환경 변수로 구성#pragma omp directive [clause ...]#pragma : 컴파일러에게 명령을 내리는 키워드omp : OpenMP 사용할 것이라고 알림directive : 어떤 종류의 병렬화를 할 지clause : 옵션(ex. 스레드 수, 공유 변수 등) 3. 런타임 함수omp_get_thread_num() : 현재 스레드 번호 반환omp_get_num_threads() : 전체 스레드 개수 반환omp_set_num_threads(n) : 사용할 스레드 개수 지정omp_get_wtime() : 경과 시간 타이머 4. 주요 ..

Introduction 특징 선택(feature selection)은 최적화 및 인공지능 분야에서 핵심적인 단계로, 고차원 데이터에서 성능을 높이고 계산 효율을 개선하기 위해 가장 유용한 변수들만 골라내는 작업. 크게 3가지 방법으로 나눌 수 있다 1. Filter Method : 변수와 목표값 간의 상관관계를 계산하여, 중요도가 높은 순서대로 변수를 선택하는 방법ex) Pearson correlation, Chi-square, Mutual Information2. Wrapper Method : 다양한 변수 조합을 만들어 실제 모델에 적용해보고, 성능이 가장 좋은 조합을 찾는 방법ex) Forward Selection, Backward Elimination, Recursive Feature Elimi..

1. Introduction전이 학습이란, 이미 학습된 모델을 다른 작업에 활용하는 것을 말한다. 그 예시중엔 fine tuning이 있다. 그런데, fine tuning을 하려면, 10억(1B)개의 파라미터를 가진 LLM을 full fine-tuning(32bit 부동소수점)하려면,  24GB의 메모리가 필요하다. 따라서, 메모리 최적화 없이 LLM을 파인튜닝하면 OOM(Out of Memory)에러가 맨날 뜨는 것을 볼 수 있다. 이 논문에서는 LLM 파인튜닝을 위한 대표적인 최적화 기법들에 대해 자세히 소개하고, 메모리 사용량과 실행 시간 사이의 절충 관계를(trade-off) 분석하며, 실험 결과를 통해 최적의 조합을 선택하기 위한 가이드라인과 기준점을 제시한다.  2. Related Work1...

1. Introduction이 논문에서는 LLM이 지도학습에서 feature selection을 수행할 수 있음을 보여준다. Training set의 변수들과 target 변수의 의미를 LLM이 어느 정도 알고 있다는 전제 하에, LLM에게 어떤 프롬프트를 제공해야 예측에 가장 유용한 특징들을 효과적으로 고르는 지 탐구한다. 이 논문에선 LLM을 활용한 feature selection에 있어서 세가지 접근법을 제안한다. (i) LLM이 생성한 중요도 점수가 가장 높은 특징들을 선택하는 방법,(ii) LLM이 생성한 중요도 순위에 따라 특징을 선택하는 방법,(iii) LLM과의 대화 형식으로 특징을 순차적으로 선택하는 방법. 전체 데이터를 확인하지 않고 feature selection을 진행하면, sele..

1. 접속하려는 컴퓨터의 ssh 서버를 켜준다. sudo systemctl status ssh 초록색으로 active라고 뜨면 잘 켜진 것 2. 접속하려는 컴퓨터의 방화벽의 상태를 확인한다. sudo ufw status verbose 상태가 활성이면 2-1로, 비활성이면 3번으로 이동 2-1. 접속하려는 컴퓨터의 방화벽을 끈다sudo ufw disable 3. 다음 명령어를 통해 현재 인터넷과 통신할 때 사용하는 IP를 알아둔다. ip route get 8.8.8.8그리고 src 뒤에 있는 숫자를 기억한다 4. 다음 명령어를 통해 접속할 사용자의 이름을 알아둔다whoami 5. 이제 클라이언트 컴퓨터의 터미널에 다음 명령어를 입력한다. ssh [사용자 이름]@[ip주소] 6. 사용자의 비밀번호를 입력한다..

내 연구실 컴퓨터(Ubuntu)는 무선인터넷 연결이 안 되고, 유선 인터넷 연결만 가능함. 그런데 연구실 유선랜이 문제가 생겨서 인터넷 공급이 안되는 상황..그래서 내 노트북(Windows)에 와이파이를 연결하고, 노트북과 연구실 컴퓨터를 랜선으로 연결해서 연구실 컴퓨터에 무선인터넷 연결을 해주고자 함 준비물1. Ethernet to C 케이블 나는 노트북에 랜선포트가 없어서 필요한 건데, 랜선포트 있는 노트북이면 안사도됨 2. 랜선방법0. 노트북이랑 컴퓨터랑 랜선 연결1. 내 노트북에서 Win + R 누르고 services.msc 치고 엔터2. Internet Connection Sharing 이랑 DHCP Client 찾고 상태가 실행 중인지 확인이렇게 둘다 뜨면 실행 중인 것3. Win + R 눌르..

Introduction이 논문에서는 Few-Shot Learning이 가능한 대규모 언어 모델(LLM)을 활용하여 질병의 발병률을 예측하고자 한다. 그러나 Few-Shot Learning은 데이터가 부족한 환경에서 적용되므로, 성능에 한계가 있을 수 있다는 문제가 존재한다. 이를 보완하기 위해 본 연구에서는 EHR-CoAgent 기법을 도입하였다. EHR-CoAgent 기법은 두 개의 LLM 에이전트를 사용하는 방식으로, Predictor LLM Agent와 Critic LLM Agent가 협업하여 예측 성능을 높이고자 한다.먼저, Predictor LLM Agent는 질병 예측을 수행하고 예측 근거(이유)를 제시한다. 그런 다음, Critic LLM Agent는 Predictor Agent가 내린 예측..