개발 (58) 썸네일형 리스트형 LoRA : Low-Rank Adaptation of Large Language Models LoRA 논문에 대한 리뷰포스팅으로 돌아왔다! 혹시모를 자료를 위해 공식 Github Repo를 첨부하니 확인해보라! https://github.com/microsoft/LoRA 여길 들어가보면 알 수 있다 😆 LoRA를 리뷰하기전에 왜 요런 기법이 등장했는지 파악하면 더 알기좋다. 요즘도 그렇지만 1,2년전부터 ChatGPT 열풍이 불었다. 그덕에 LLM에 대한 관심도가 급상승하였는데 새로운 기술이 등장할때마다 사람들은 원천기술보단 응용을 어떻게 해서 본인에게 어떠한 도움이 되느냐를 더 주목하기 마련이다. LoRA가 화두에 떠오른 부분은 하나의 문제점으로부터 시작되었는데, 바로 LLM을 Full-Finetuning하는 것이 너무 한계점이 명확하다는 부분이었다. 상식적으로 자본과 컴퓨팅 리소스, 데이터가.. [후기] 모두를 위한 한국어 오픈액세스 언어모델 못다한 이야기 (feat. 모두연) #2 본격적인 이준범님의 프로젝트 소개 가보자궈~~!~!~! 1. 회사 및 프로그램 소개 2. 강연 a. 한국어 오픈액세스 LM 동향 b. Llama-2-Ko/Yi-Ko/Solar-Ko 등 프로젝트 소개 c. 학습 데이터 수집, 전처리 과정, 토크나이저 제작 과정 및 시행착오 d. 오픈모델의 사용성과 라이센스 3. Q&A 그쵸.. 항상 데이터가 중요하죠. 공개되어있는 한국어 데이터의 경우 Ai Hub, 모두의 말뭉치, 위키피디아 등등 많지만 은근 AI Hub가 짱짱하다고 하는데요! 혹시 프로젝트 하시는 분들은 참고하시면 좋겠네요ㅎㅎ 직접 from scratch 식으로 만들었다고 하시는데, 와우... 대단하군요..! 특히 데보션에 이와 관한 내용이 잘 정리가 되어있다고 하니 함 봐야겠어요! 좌표는 아시죠? 밑에.. [후기] 모두를 위한 한국어 오픈액세스 언어모델 못다한 이야기 (feat. 모두연) #1 사실,, 요 행사를 진행한지 좀 되었는데요.. 열심히 필기하면서 재밌게 보다가 놓친부분이 있어서 영상이 재업로드될 때까지 기다렸습니다ㅎ 시작을 해볼게요!! 강연 순서는 다음과 같습니다. 1. 회사 및 프로그램 소개 2. 강연 a. 한국어 오픈액세스 LM 동향 b. Llama-2-Ko/Yi-Ko/Solar-Ko 등 프로젝트 소개 c. 학습 데이터 수집, 전처리 과정, 토크나이저 제작 과정 및 시행착오 d. 오픈모델의 사용성과 라이센스 3. Q&A 강연을 리뷰하기에 앞서 저는 한국어 언어모델 연구과 특정 Domain에 언어모델이 적용될 때 어떻게 하면 높은 성능을 취할 수 있을까? 에 굉장히 관심이 많습니다. 특이하게도 어느 한 Domain을 정해놓기보단 통용되는 성능에 더 관심이 많구요. 궁극적으로는 산업.. OpenSource 기여자 되기 (feat. LangChain) 안녕 여러분! 최근 "Zl랄발광 랭체인" 포스팅과 함께 랭체인 공부를 하면서 신기한 경험을 해서 그 얘기를 좀 해보려고 가져왔어요! 열심히 프로젝트를 하면서 공부도 병행하고 있던 찰나 생애 처음으로 프레임워크 공식독스를 처음부터 끝까지 파보게되는데,, 아니.. 공식독스라는것들이 예제가 너무 실행안되는게 많잖아..? 그와중에 눈에 딱 들어와서 꽂힌게 있었으니 그것이 바로 Retry parser! Retry parser는 Langchain의 동작도중 오류가 날 경우를 캐치하여 다시 parsing해주는 아이인데 요녀석,, 실행이 안되는구만..! 자꾸만 type error도 나고 난리가 나네 아주 😡😡😡 한 1시간 좀 넘게 봤나..? 아 요놈 요거 원인을 찾았다..!! 이때 당시 Langchain이 versio.. Zl랄발광 랭체인 #1 요새 핫한 생성형 AI, 이걸 써먹을 수 있는 랭체인 프레임워크에 대해 알아보자! 여러분은 LLM이라는것을 아는가? LLM은 Large Language Model의 약자로 엄청나게 많은 자본을 잡아먹어 기존의 LM(Language Model)의 사이즈를 키운것으로 이해하면 편할것이다. 이러한 LLM을 원동력으로 하는 애플리케이션을 만들어야 산업전반적으로 써먹을텐데 그부분에 대해서는 언어모델의 연구만큼 이루어져있지 않은것이 현실이다. 랭체인(Langchain)은 그 부분을 해소시켜주는 대표젹인 프레임워크로 이미 수면아래에서는 그 가능성을 알아보고 도입하고자 하는 사람들이 많은것 같다. 필자역시 그중하나로 요 랭체인이라는 아이를 잘 노나먹어(?)보자는 의미에서 공부하고 그 내용을 블로그로 써보려고 한다. (.. 이전 1 2 3 4 ··· 12 다음
