Development
-
논문
LoRA : Low-Rank Adaptation of Large Language Models
LoRA 논문에 대한 리뷰포스팅으로 돌아왔다! 혹시모를 자료를 위해 공식 Github Repo를 첨부하니 확인해보라! https://github.com/microsoft/LoRA 여길 들어가보면 알 수 있다 😆 LoRA를 리뷰하기전에 왜 요런 기법이 등장했는지 파악하면 더 알기좋다. 요즘도 그렇지만 1,2년전부터 ChatGPT 열풍이 불었다. 그덕에 LLM에 대한 관심도가 급상승하였는데 새로운 기술이 등장할때마다 사람들은 원천기술보단 응용을 어떻게 해서 본인에게 어떠한 도움이 되느냐를 더 주목하기 마련이다. LoRA가 화두에 떠오른 부분은 하나의 문제점으로부터 시작되었는데, 바로 LLM을 Full-Finetuning하는 것이 너무 한계점이 명확하다는 부분이었다. 상식적으로 자본과 컴퓨팅 리소스, 데이터가..
-
NLP Trends
[후기] 모두를 위한 한국어 오픈액세스 언어모델 못다한 이야기 (feat. 모두연) #2
본격적인 이준범님의 프로젝트 소개 가보자궈~~!~!~! 1. 회사 및 프로그램 소개 2. 강연 a. 한국어 오픈액세스 LM 동향 b. Llama-2-Ko/Yi-Ko/Solar-Ko 등 프로젝트 소개 c. 학습 데이터 수집, 전처리 과정, 토크나이저 제작 과정 및 시행착오 d. 오픈모델의 사용성과 라이센스 3. Q&A 그쵸.. 항상 데이터가 중요하죠. 공개되어있는 한국어 데이터의 경우 Ai Hub, 모두의 말뭉치, 위키피디아 등등 많지만 은근 AI Hub가 짱짱하다고 하는데요! 혹시 프로젝트 하시는 분들은 참고하시면 좋겠네요ㅎㅎ 직접 from scratch 식으로 만들었다고 하시는데, 와우... 대단하군요..! 특히 데보션에 이와 관한 내용이 잘 정리가 되어있다고 하니 함 봐야겠어요! 좌표는 아시죠? 밑에..
-
NLP Trends
[후기] 모두를 위한 한국어 오픈액세스 언어모델 못다한 이야기 (feat. 모두연) #1
사실,, 요 행사를 진행한지 좀 되었는데요.. 열심히 필기하면서 재밌게 보다가 놓친부분이 있어서 영상이 재업로드될 때까지 기다렸습니다ㅎ 시작을 해볼게요!! 강연 순서는 다음과 같습니다. 1. 회사 및 프로그램 소개 2. 강연 a. 한국어 오픈액세스 LM 동향 b. Llama-2-Ko/Yi-Ko/Solar-Ko 등 프로젝트 소개 c. 학습 데이터 수집, 전처리 과정, 토크나이저 제작 과정 및 시행착오 d. 오픈모델의 사용성과 라이센스 3. Q&A 강연을 리뷰하기에 앞서 저는 한국어 언어모델 연구과 특정 Domain에 언어모델이 적용될 때 어떻게 하면 높은 성능을 취할 수 있을까? 에 굉장히 관심이 많습니다. 특이하게도 어느 한 Domain을 정해놓기보단 통용되는 성능에 더 관심이 많구요. 궁극적으로는 산업..
Algorithm
-
코딩테스트
Programmers Lv.1 "두 개 뽑아서 더하기"
주어진 정수배열의 요소 중 2개를 뽑아 덧셈을 한 결과를 반환하면 되는데 모든 경우를 다 체크하면 된다. 알고있다면 조금 쉬울 수 있는데, 예전에 배웠던 '조합'을 이용하면 쉽게쉽게 구할 수 있다. from itertools import combinations def solution(numbers): return sorted(list(set([sum([i,j]) for i,j in combinations(numbers,2)])))
-
코딩테스트
Programmers Lv.1 "K번째수"
쉬운 내용의 문제이다. 주어진 범위로 배열을 자르고 정렬한 뒤, 요구하는 위치의 숫자를 반환하면 되는 것이다. 즉, 문제에서 나열된 그대로 코드를 짜면 되는 정렬이면서 동시에 구현문제라고도 볼 수 있겠다. def solution(array, commands): answer = [] for i in range(len(commands)): temp = array[commands[i][0]-1:commands[i][1]] temp.sort() answer.append(temp[commands[i][2]-1]) return answer
-
코딩테스트
Programmers Lv.1 "문자열 내 마음대로 정렬하기"
이 문제의 핵심은 정렬의 기준이 각 문자열의 인덱스 n번째 글자라는 점이다. 즉, 정렬시 Lambda식을 이용하여 기준을 직접지정해주면 된다. def solution(strings, n): strings = sorted(strings, reverse=False) strings = sorted(strings, key=lambda x : x[n]) return strings
