본문 바로가기

Every

 (139)
Transformer - Attention is All You Needs 트랜스포머(Transformer) 는 2017년 구글이 발표하여 NIPS에 등재된 논문인 “Attention is all you need” 에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 타이틀처럼 어텐션(Attention)만으로 구현한 모델이다. 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 번역 성능에서 RNN보다 우수한 성능을 보여주었다. 🪧 Road Map —————————————————————————— 1. Overview 2. Positional Encoding 3. Self-Attention (+ Multi-Head Attention) 4. Residual Learning 5. Add + Norm 6. Attention in Enc..
빅리더 2차 인턴쉽 프로젝트 기록 #4주차 날이 점점 갈수록 추워지네요. 이번주는 추위와 싸우는 식도락으로 컨셉을 잡고 블로그를 써볼까 합니다. 분명 처음 일상 블로그 할때만 해도 서울살이를 보여주고자 했는데 이젠 그냥 내 맘대로 쓰는것 같네요, 하하.. 꾸준한것에 의의들 둡시다. 여러분, 커피는 우리몸에 정말 필요한 성분(?)이에요. 항상 챙겨드세요. 아잇 참, 옛날에 사진찍던 솜씨 아직 안죽었어요~ 제가 사진좀 칩니다ㅎ 사진정리하다가 저 뒤에 누구지... 하면서 봤는데, 영 떠오르지 않더라구요...? 한참을 골똘히 생각하다가 결국 찾아냈는데, 바로 HS이였습니다.. 하핳,, 미안하다 HS아,, 이걸 못알아봤구나.. 내가 많이 아끼는거 알지?ㅎㅎ (그니까 봐주라) 햐~ 요거요놈 아주 야무지다...! 시카고 피자가 또 맛도리거든요~ 어때요 보기만..
빅리더 2차 인턴쉽 프로젝트 기록 #3주차 일주일 너무 빠르죠. 또 3주차 기록을 끄적일때가 왔네요. 이제는 점차 습관화가 되어가고 있는것 같아요. 크.. 너 덕분이다 YB아, 고맙다ㅎㅎ 예, JY형이 메이플스토리를 한다고 하더니 지나가다 문득 생각이 들어 찍어봤습니다. 저도 메이플아일랜드에 온 기분이네요. JY형 게임 그만. 어때요! 사진 괜찮게 찍었죠?? 어대공입니다. 요새 런닝하는데 초저녁 풍경이 아주 좋더라구요~~ 제가 잠시 일하고 있는 곳인데요, 떡집입니다. 많이 찾아와주세요 :) 더 좋은 작업을 위해 이사했습니다. 요기가 이제 시청주변 공유오피스인데요. 나.. 이제... 커피 맘껏 마실 수 있냐....? 다들 퀭한 모습이 보기좋네요. 특.별.히 얼굴은 가려드렸습니다 ^^ 저게 뭔지 알아요? 생활의 달인 선정 '서울 3대 진미' 와플 블..
빅리더 2차 인턴쉽 프로젝트 기록 #2주차 오늘도 돌아온 2차 프로젝트 기록 2주차입니다. 본격적으로 바빠지기 시작하면서 블로그도 많이 밀렸네요. 그치만 그럴수있다고 생각해요 그쵸? 절대 찔려서 이러는거 아닙니다ㅎㅎ 월요일 상쾌한 아침햇살을 받아 침대에서 눈을 비비며 일어났어요. 일어나고 시간을 확인하려고 핸드폰을 보니 저를 찾는 사람이 많더군요! 아..! 여러사람에게 나는 없으면 안되는 존재였구나!!! 뿌듯함을 느끼며 도착한 연락을 하나 둘 씩 보는데 예.. 앞으로 저 찾지 마세요 여러분... 국가의 부름을 뒤로하고 출근을 했어요. 출근을 하니 이야~ 오늘 밥을 사주신다네요?? 관계자분들이 참 학생들한테 관심이 많아요. 너무 좋네요~ 점심은 거하게 고기를 얻어먹었답니다~! 해맑네요. 보기 좋아요 형ㅎㅎ 야무지게 밥 얻어먹고 돌아와서 빡세게 작업..
빅리더 AI 인턴쉽 2차 프로젝트 기록 #1주차 으...예... 생각도 안해보던 일상블로그를 좀 끄적여볼까합니다.. 빅리더 인턴쉽기간동안 진행된 2차 프로젝트중 서울살이가 주제구요, 주차별로 쓸겁니다. 이런거 글재주가 없어서 잘 안쓰게 되는데 나중을 생각하면 또 간간히 연습은 해야겠다싶어서요. (사실 친한동생이 써보래요, 저는 별 생각없긴했음.ㅋ.ㅋ) 하여튼 유튜브 쇼츠마냥 보시면 좋을듯 합니다. 여자저차해서 이번 프로젝트는 서울에서 진행하게 되었어요! 화요일 이동경로가 대전, 창원, 서울로 가다보니 루트가 아주..허헣... 하루에 이렇게 많은 돈을 교통비로만 써본적이 있던가...ㅋㅋㅋㅋ 그렇게 도착한 서울!! 피곤해 죽겠어요... 기차만 몇시간을 탄걸까 모르겠네요..ㅋㅋ 지하철도 타고 프로젝트 하면서 머물곳을 향해 달려가봅시다! 단기간 서울에 머무는..

티스토리툴바