(WIP)Policy Gradient
Policy Gradient
Tag
- RL 33
- python 12
- Sutton 11
- 단단한 강화학습 11
- cpp 9
- c++ 9
- list 4
- new 3
- delete 3
- sql 3
- gym 3
- PPO 3
- jax 3
- DQN 2
- gymnasium 2
- algorithm 2
- RL Paper Review 2
- torch 2
- flax 2
- upbit 1
- confusion matrix 1
- f1 score 1
- f beta score 1
- pr-curve 1
- roc-curve 1
- auc 1
- RMSE 1
- MAE 1
- sigmoid 1
- tanh 1
- xavier 1
- glorot 1
- kaiming 1
- weight initialization 1
- relu 1
- prelu 1
- rrelu 1
- leaky relu 1
- elu 1
- selu 1
- 배치 정규화 1
- Batch Normalization 1
- BN 1
- CG 1
- DCG 1
- NDCG 1
- RecSys 1
- 추천 시스템 1
- CE 1
- Cross Entropy 1
- BCE 1
- Binary Cross Entropy 1
- Bagging 1
- Boosting 1
- Stacking 1
- adaboost 1
- gradientboosting 1
- lightgbm 1
- gradient descent 1
- optimizer 1
- momentum 1
- nesterov 1
- AdaGrad 1
- RMSProp 1
- Adam 1
- Nadam 1
- Boltzmann machine 1
- Q Learning 1
- Sarsa 1
- NLP 1
- 텐서플로2와 머신러닝으로 시작하는 자연어 처리 1
- stationary 1
- deterministic 1
- REINFORCE 1
- UCB 1
- pytorch 1
- distribution 1
- Categorical 1
- Normal 1
- Experience Replay 1
- Catastrophic forgetting 1
- Target Networks 1
- Double DQN 1
- Prioritized Experience Replay 1
- Importance Sampling 1
- openai 1
- pettingzoo 1
- Queue 1
- deque 1
- pop 1
- gymnaisum 1
- wrappers 1
- Dueling DQN 1
- PER 1
- multithreading 1
- multiprocessing 1
- distributions 1
- categorical 1
- 2048 1
- wandb 1
- Woodoku 1
- BLockPuzzle 1
- 책리뷰 1
- bisect 1
- insort 1
- sort 1
- deepcopy 1
- list comprehension 1
- module 1
- package 1
- Pytorch 1
- Tensorflow 1
- str 1
- auto diffrentiation 1
- computationn graph 1
- snakegame 1
- TRPO 1
- 우수학술도서 1
- invalid action masking 1
- Policy Gradient 1
RL
이산 행동공간 환경에서 Action Masking 적용기
아래 두 자료를 바탕으로 작성된 자료이다.
gymnasium 기반 single agent custom 강화학습 환경 만들기
아래 설명중 나오는 게임들의 예시는 다음과 같다
(WIP)TRPO, Trust Region Policy Optimization
(수정중… 지속적으로 수정될 예정)
snakegame 강화학습 도전기
스네이크 게임은 정해진 그리드 격자 배열 안에서 뱀을 움직이면서 1개 이상의 아이템을 먹으면서 몸을 키우는 게임이다. 아이템을 먹으면 몸이 1칸 늘어나게 된다. 자기 몸에 박거나 벽에 박게 되면 게임이 종료된다.
단단한 강화학습 코드 정리, chap8
ShangtongZhang github
Woodoku/BlockPuzzle 게임 강화학습 도전기
Woodoku는 특정 게임의 이름입니다. 좋은 이름이 떠오르지 않아 환경 또한 Woodoku로 이름지었습니다. 비슷한 게임이 여럿 있는 것으로 알고있지만 어떤 게임이 원조인지는 모릅니다. Woodoku 이름 관련하여 문제가 있을 경우 왼쪽 프로필의 이메일로 연락 주시길 바랍니다.
wandb 사용시 주의할 점
1. 한 메트릭의 스칼라는 100K 이하여야 한다.
2048 게임 강화학습 도전기
2048 게임을 정복하기 위해 gym-game2048 강화학습 환경을 만들고 그것을 정복하기 위해 시도한 시행착오를 적어놓은 일지이다.
단단한 강화학습 코드 정리, chap10
ShangtongZhang github
단단한 강화학습 코드 정리, chap5
ShangtongZhang github
단단한 강화학습 코드 정리, chap12
ShangtongZhang github
단단한 강화학습 코드 정리, chap7
ShangtongZhang github
단단한 강화학습 코드 정리, chap9
ShangtongZhang github
강화학습 문답
유용하다 생각했던 강화학습 관련 Q&A를 정리하는 글이다. 답변자의 신뢰도는 고려하지 않으니 참고할 때 유의하기 바란다.
Prioritized Experience Replay
Prioritized Experience Replay, Schaul et al, 2015. Algorithm: Prioritized Experience Replay (PER).
Dueling DQN
Dueling Network Architectures for Deep Reinforcement Learning, Wang et al, 2015. Algorithm: Dueling DQN.
gym Wrappers 정리
gym이 gymnasium으로 바뀌었으나 서술의 편의를 위하여 gym으로 서술하겠다.
단단한 강화학습 코드 정리, chap6
ShangtongZhang github
강화학습의 환경 요약
강화학습 논문들에서 검증수단으로 활용되는 환경들에 대해서 설명한다. 게임의 경우 공략법보다는 간단한 특징에 주목한다.
강화학습 코드/환경 구현시 팁
강화학습 알고리즘/논문 구현시 겪었던 고충들을 늘어놓고 해결할 때마다 업데이트 하기 위한 글이다. 지속적으로 업데이트 할 예정이다.
강화학습 강의 모음
외국 대학 CS 285, UC Berkeley CS 234, Stanford CS 6789, Cornell
gym(gymnasium) 환경 구성시 고려할 점
해당 포스트는 아래 글로 새로 업데이트 되었습니다. 삭제하기 아까워 남깁니다.
단단한 강화학습 코드 정리, chap4
ShangtongZhang github
향상된 DQN
Target Networks
DQN, 심층 Q 네트워크
DQN은 $Q$함수를 근사하는 가치 기반 시간차(value-based temporal difference (TD)) 알고리즘이다. 학습된 $Q$ 함수를 이용하여 행동을 선택한다. DQN은 이산적 행동 공간을 갖는 환경에만 적용할 수 있다. SARSA와 달리 최적 $Q$ 함수를 학습...
긍정적 초기값과 UCB에서 Spike에 관한 고찰
[figure 2.3]
REINFORCE
좋은 결과를 초래한 행동이 더 높은 확률로 선택되도록 에이전트를 학습시켜야 한다. 행동 확률이 정책 경사(policy gradient)를 따라 변하기 때문에 REINFORCE는 정책 경사 알고리즘으로 알려져 있다.
강화학습에서 stationary와 deterministic
스터디 중 stationary 관련하여 설명하였다, 그런데 설명 후 그것은 deterministic이라는 지적을 받았다. 생각해보니 그 두개를 혼재하며 사용하고 있었다는 것을 느껴 관련하여 정리하기 위하여 이 글을 쓴다.
단단한 강화학습 코드 정리, chap2
ShangtongZhang github
[ch09] 근사를 이용한 활성 정책 예측
활성 정책으로부터 상태가치 함수를 추정하는 과정을 서술한다
강화학습 공식 정리
n-step TD $G_{t:t+n} \doteq R_{t+1}+\gamma R_{t+2}+ \cdots + \gamma^{n-1}R_{t+n}+\gamma V_{t+n-1}(S_{t+n})$
python
파이썬 헷갈리는 것 정리
```python class Test:
str과 list의 문자열 인덱스 참조 속도 비교
경로 찾기같은 문제에서 격자형 공간이 주어질 때가 있다.
파이썬의 모듈과 패키지
쓸 때마다 헷갈려서 정리하는 글이다.
파이썬 리스트 선언 속도 비교
파이썬 리스트 선언 방법에는 여러 가지가 있다. 실험을 통해 각각의 속도를 비교해보자
Python copy.deepcopy vs list[:]
파이썬에서 리스트를 깊은 복사하는 방법에는 두 가지가 있다.
Python bisect.insort vs list.sort
파이썬 표준 라이브러리에는 이진 탐색을 위한 bisect 가 있다.
파이썬 멀티프로세싱, python multiprocessing
파이썬 3 바이블을 참고하였다.
파이썬 멀티스레딩, multithreading
파이썬 3 바이블을 참고하였다.
파이썬의 pop 연산 속도 비교
파이썬에서 list를 사용시에 가장 오른쪽에 있는 요소를 제거하는 방법은 여러 가지가 있다.
파이썬의 큐 모듈 속도 비교
파이썬에는 큐를 구현하는 방법이 세 가지가 있다.
파이썬 복습
1. namedtuple 1-1. 기본 설명 namedtuple 인스턴스는 일반 튜플과 마찬가지로 메모리 효율적이다. 인스턴스마다 딕셔너리를 포함하고 있지 않기 때문이다. 각 namedtuple은 namedtuple() 팩토리 함수를 사용해 생성되는 자신의 클래스로 표현할 수 있다...
3분의 결과를 이용해 다음 매매를 결정하는 3분 매매법
3분 매매법 3분 양봉이 나오면 다음 1분 시작시에 매수하고 1분이 끝날 때 매도하는 방법
Sutton
단단한 강화학습 코드 정리, chap8
ShangtongZhang github
단단한 강화학습 코드 정리, chap10
ShangtongZhang github
단단한 강화학습 코드 정리, chap5
ShangtongZhang github
단단한 강화학습 코드 정리, chap12
ShangtongZhang github
단단한 강화학습 코드 정리, chap7
ShangtongZhang github
단단한 강화학습 코드 정리, chap9
ShangtongZhang github
단단한 강화학습 코드 정리, chap6
ShangtongZhang github
단단한 강화학습 코드 정리, chap4
ShangtongZhang github
긍정적 초기값과 UCB에서 Spike에 관한 고찰
[figure 2.3]
단단한 강화학습 코드 정리, chap2
ShangtongZhang github
[ch09] 근사를 이용한 활성 정책 예측
활성 정책으로부터 상태가치 함수를 추정하는 과정을 서술한다
단단한 강화학습
단단한 강화학습 코드 정리, chap8
ShangtongZhang github
단단한 강화학습 코드 정리, chap10
ShangtongZhang github
단단한 강화학습 코드 정리, chap5
ShangtongZhang github
단단한 강화학습 코드 정리, chap12
ShangtongZhang github
단단한 강화학습 코드 정리, chap7
ShangtongZhang github
단단한 강화학습 코드 정리, chap9
ShangtongZhang github
단단한 강화학습 코드 정리, chap6
ShangtongZhang github
단단한 강화학습 코드 정리, chap4
ShangtongZhang github
긍정적 초기값과 UCB에서 Spike에 관한 고찰
[figure 2.3]
단단한 강화학습 코드 정리, chap2
ShangtongZhang github
[ch09] 근사를 이용한 활성 정책 예측
활성 정책으로부터 상태가치 함수를 추정하는 과정을 서술한다
cpp
EffectiveCpp 52:위치지정 new를 작성한다면 위치지정 delete도 같이 준비하자
기본형 operator new/delete의 경우 1 Widget *pw = new Widget; 위에서는 함수 두 개가 호출된다. 메모리 할당을 위해 operator new가 호출되고 그 뒤를 이어 Widget의 기본 생성자가 호출된다.
EffectiveCpp 51:new 및 delete를 작성할 때 따라야 할 기존의 관례를 잘 알아 두자
operator new 반환 값이 제대로 되어 있어야 하고, 가용 메모리가 부족할 경우에는 new 처리자 함수를 호출해야 한다.
EffectiveCpp 50:new 및 delete를 언제 바꿔야 좋은 소리를 들을지를 파악해 두자
new 및 delete의 기본 제공 버전을 다른 것으로 대체하는 작업을 언제 해야 의미가 있는가
EffectiveCpp 44:매개변수에 독립적인 코드는 템플릿으로부터 분리시키자
아무 생각 없이 템플릿을 사용하면 코드 비대화(code bloat)가 초래될 수 있다. 똑같은 내용의 코드와 데이터가 여러 벌로 중복되어 이진 파일로 구워진다는 뜻이다.
EffectiveCpp 38:has-a 혹은 is-implemented-in-terms-of 를 모형화할 때는 객체 합성을 사용하자
합성 합성이란, 어떤 타입의 객체들이 그와 다른 타입의 객체들을 포함하고 있을 경우에 성립하는 그 타입들 사이의 관계를 말한다.
EffectiveCpp 28:내부에서 사용하는 객체에 대한 ‘핸들’을 반환하는 코드는 되도록 피하자
ex1) 사각형을 추상화한 Rectangle 클래스를 만들었는데, 이 클래스의 객체를 썼을 때의 메모리 부담을 최대한 줄이고 싶다.
EffectiveCpp 27:항목 27: 캐스팅은 절약, 또 절약! 잊지 말자
타입 에러가 생기지 않도록 보장하는것이 C++ 동작 규칙의 바탕 철학이나 캐스트(cast)가 사용될 경우 찾아내기 어려울 경우가 많다. C++ 캐스팅은 조심해서 써야하는 기능이다.
EffectiveCpp 26:변수 정의는 늦출 수 있는 데까지 늦추는 근성을 발휘하자
생성자 혹은 소멸자를 끌고 다니는 타입으로 변수를 정의하면 반드시 물게 되는 비용
c++
EffectiveCpp 52:위치지정 new를 작성한다면 위치지정 delete도 같이 준비하자
기본형 operator new/delete의 경우 1 Widget *pw = new Widget; 위에서는 함수 두 개가 호출된다. 메모리 할당을 위해 operator new가 호출되고 그 뒤를 이어 Widget의 기본 생성자가 호출된다.
EffectiveCpp 51:new 및 delete를 작성할 때 따라야 할 기존의 관례를 잘 알아 두자
operator new 반환 값이 제대로 되어 있어야 하고, 가용 메모리가 부족할 경우에는 new 처리자 함수를 호출해야 한다.
EffectiveCpp 50:new 및 delete를 언제 바꿔야 좋은 소리를 들을지를 파악해 두자
new 및 delete의 기본 제공 버전을 다른 것으로 대체하는 작업을 언제 해야 의미가 있는가
EffectiveCpp 44:매개변수에 독립적인 코드는 템플릿으로부터 분리시키자
아무 생각 없이 템플릿을 사용하면 코드 비대화(code bloat)가 초래될 수 있다. 똑같은 내용의 코드와 데이터가 여러 벌로 중복되어 이진 파일로 구워진다는 뜻이다.
EffectiveCpp 38:has-a 혹은 is-implemented-in-terms-of 를 모형화할 때는 객체 합성을 사용하자
합성 합성이란, 어떤 타입의 객체들이 그와 다른 타입의 객체들을 포함하고 있을 경우에 성립하는 그 타입들 사이의 관계를 말한다.
EffectiveCpp 28:내부에서 사용하는 객체에 대한 ‘핸들’을 반환하는 코드는 되도록 피하자
ex1) 사각형을 추상화한 Rectangle 클래스를 만들었는데, 이 클래스의 객체를 썼을 때의 메모리 부담을 최대한 줄이고 싶다.
EffectiveCpp 27:항목 27: 캐스팅은 절약, 또 절약! 잊지 말자
타입 에러가 생기지 않도록 보장하는것이 C++ 동작 규칙의 바탕 철학이나 캐스트(cast)가 사용될 경우 찾아내기 어려울 경우가 많다. C++ 캐스팅은 조심해서 써야하는 기능이다.
EffectiveCpp 26:변수 정의는 늦출 수 있는 데까지 늦추는 근성을 발휘하자
생성자 혹은 소멸자를 끌고 다니는 타입으로 변수를 정의하면 반드시 물게 되는 비용
list
str과 list의 문자열 인덱스 참조 속도 비교
경로 찾기같은 문제에서 격자형 공간이 주어질 때가 있다.
파이썬 리스트 선언 속도 비교
파이썬 리스트 선언 방법에는 여러 가지가 있다. 실험을 통해 각각의 속도를 비교해보자
파이썬의 pop 연산 속도 비교
파이썬에서 list를 사용시에 가장 오른쪽에 있는 요소를 제거하는 방법은 여러 가지가 있다.
파이썬의 큐 모듈 속도 비교
파이썬에는 큐를 구현하는 방법이 세 가지가 있다.
new
EffectiveCpp 52:위치지정 new를 작성한다면 위치지정 delete도 같이 준비하자
기본형 operator new/delete의 경우 1 Widget *pw = new Widget; 위에서는 함수 두 개가 호출된다. 메모리 할당을 위해 operator new가 호출되고 그 뒤를 이어 Widget의 기본 생성자가 호출된다.
EffectiveCpp 51:new 및 delete를 작성할 때 따라야 할 기존의 관례를 잘 알아 두자
operator new 반환 값이 제대로 되어 있어야 하고, 가용 메모리가 부족할 경우에는 new 처리자 함수를 호출해야 한다.
EffectiveCpp 50:new 및 delete를 언제 바꿔야 좋은 소리를 들을지를 파악해 두자
new 및 delete의 기본 제공 버전을 다른 것으로 대체하는 작업을 언제 해야 의미가 있는가
delete
EffectiveCpp 52:위치지정 new를 작성한다면 위치지정 delete도 같이 준비하자
기본형 operator new/delete의 경우 1 Widget *pw = new Widget; 위에서는 함수 두 개가 호출된다. 메모리 할당을 위해 operator new가 호출되고 그 뒤를 이어 Widget의 기본 생성자가 호출된다.
EffectiveCpp 51:new 및 delete를 작성할 때 따라야 할 기존의 관례를 잘 알아 두자
operator new 반환 값이 제대로 되어 있어야 하고, 가용 메모리가 부족할 경우에는 new 처리자 함수를 호출해야 한다.
EffectiveCpp 50:new 및 delete를 언제 바꿔야 좋은 소리를 들을지를 파악해 두자
new 및 delete의 기본 제공 버전을 다른 것으로 대체하는 작업을 언제 해야 의미가 있는가
sql
SQL 복습
1 WHERE 절에서 = NULL 이 아니라 IS NULL로 찾아야 한다. 반대는 IS NOT NULL
SQL 자료형 복습
문자 데이터 고정 길이 문자열 1 char(20) /* fixed-length */ 공백으로 오른쪽이 채워지고 항상 동일한 수의 바이트를 사용
SQL 명령어 복습
Login / LogOut 1 mysql -u root -p 루트 계정을 사용하여 로그인
gym
gym Wrappers 정리
gym이 gymnasium으로 바뀌었으나 서술의 편의를 위하여 gym으로 서술하겠다.
gym(gymnasium) 환경 구성시 고려할 점
해당 포스트는 아래 글로 새로 업데이트 되었습니다. 삭제하기 아까워 남깁니다.
PPO
snakegame 강화학습 도전기
스네이크 게임은 정해진 그리드 격자 배열 안에서 뱀을 움직이면서 1개 이상의 아이템을 먹으면서 몸을 키우는 게임이다. 아이템을 먹으면 몸이 1칸 늘어나게 된다. 자기 몸에 박거나 벽에 박게 되면 게임이 종료된다.
Woodoku/BlockPuzzle 게임 강화학습 도전기
Woodoku는 특정 게임의 이름입니다. 좋은 이름이 떠오르지 않아 환경 또한 Woodoku로 이름지었습니다. 비슷한 게임이 여럿 있는 것으로 알고있지만 어떤 게임이 원조인지는 모릅니다. Woodoku 이름 관련하여 문제가 있을 경우 왼쪽 프로필의 이메일로 연락 주시길 바랍니다.
2048 게임 강화학습 도전기
2048 게임을 정복하기 위해 gym-game2048 강화학습 환경을 만들고 그것을 정복하기 위해 시도한 시행착오를 적어놓은 일지이다.
jax
맨 위로 이동 ↑DQN
향상된 DQN
Target Networks
DQN, 심층 Q 네트워크
DQN은 $Q$함수를 근사하는 가치 기반 시간차(value-based temporal difference (TD)) 알고리즘이다. 학습된 $Q$ 함수를 이용하여 행동을 선택한다. DQN은 이산적 행동 공간을 갖는 환경에만 적용할 수 있다. SARSA와 달리 최적 $Q$ 함수를 학습...
gymnasium
gymnasium 기반 single agent custom 강화학습 환경 만들기
아래 설명중 나오는 게임들의 예시는 다음과 같다
gym(gymnasium) 환경 구성시 고려할 점
해당 포스트는 아래 글로 새로 업데이트 되었습니다. 삭제하기 아까워 남깁니다.
algorithm
알고리즘 PS 오답노트/팁 2
앞 내용(1~20)은 “알고리즘 PS 오답노트/팁”에서 찾아볼 수 있다.
알고리즘 PS 오답노트/팁
뒷 내용(21~40)은 “알고리즘 PS 오답노트/팁 2”에서 찾아볼 수 있다.
RL Paper Review
Prioritized Experience Replay
Prioritized Experience Replay, Schaul et al, 2015. Algorithm: Prioritized Experience Replay (PER).
Dueling DQN
Dueling Network Architectures for Deep Reinforcement Learning, Wang et al, 2015. Algorithm: Dueling DQN.
torch
torch 시행착오/패턴
1. torch.tenosr는 grad 를 제거한다.
Pytorch Categorical 이해하기
Categorical
flax
JAX 시행착오/패턴
1.
JAX 라이브러리 공부 메모
TrainState
upbit
3분의 결과를 이용해 다음 매매를 결정하는 3분 매매법
3분 매매법 3분 양봉이 나오면 다음 1분 시작시에 매수하고 1분이 끝날 때 매도하는 방법
confusion matrix
맨 위로 이동 ↑f1 score
맨 위로 이동 ↑f beta score
맨 위로 이동 ↑pr-curve
맨 위로 이동 ↑roc-curve
맨 위로 이동 ↑auc
맨 위로 이동 ↑RMSE
맨 위로 이동 ↑MAE
맨 위로 이동 ↑sigmoid
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
tanh
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
xavier
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
glorot
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
kaiming
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
weight initialization
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
relu
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
prelu
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
rrelu
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
leaky relu
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
elu
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
selu
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
배치 정규화
배치 정규화, Batch Normalization
배치 정규화 정규화는 머신 러닝 모델에 주입되는 샘플들을 균일하게 만드는 광범위한 방법이다. 이 방법은 모델이 학습하고 새로운 데이터에 잘 일반화되도록 돕는다. 데이터 정규화의 일반적인 형태는 다음과 같다.
Batch Normalization
배치 정규화, Batch Normalization
배치 정규화 정규화는 머신 러닝 모델에 주입되는 샘플들을 균일하게 만드는 광범위한 방법이다. 이 방법은 모델이 학습하고 새로운 데이터에 잘 일반화되도록 돕는다. 데이터 정규화의 일반적인 형태는 다음과 같다.
BN
배치 정규화, Batch Normalization
배치 정규화 정규화는 머신 러닝 모델에 주입되는 샘플들을 균일하게 만드는 광범위한 방법이다. 이 방법은 모델이 학습하고 새로운 데이터에 잘 일반화되도록 돕는다. 데이터 정규화의 일반적인 형태는 다음과 같다.
CG
맨 위로 이동 ↑DCG
맨 위로 이동 ↑NDCG
맨 위로 이동 ↑RecSys
맨 위로 이동 ↑추천 시스템
맨 위로 이동 ↑CE
분류에서의 손실함수
Cross Entropy
Cross Entropy
분류에서의 손실함수
Cross Entropy
BCE
분류에서의 손실함수
Cross Entropy
Binary Cross Entropy
분류에서의 손실함수
Cross Entropy
Bagging
배깅, 부스팅 그리고 스태킹: Bagging, Boosting and Stacking
앙상블 방법은 예측기가 가능한 한 서로 독립적일 때 최고의 성능을 발휘한다. 다양한 분류기를 얻는 한 가지 방법은 각기 다른 알고리즘으로 학습시키는 것이다. 이렇게 하면 매우 다른 종류의 오차를 만들 가능성이 높기 때문에 앙상블 모델의 정확도를 향상시킨다.
Boosting
배깅, 부스팅 그리고 스태킹: Bagging, Boosting and Stacking
앙상블 방법은 예측기가 가능한 한 서로 독립적일 때 최고의 성능을 발휘한다. 다양한 분류기를 얻는 한 가지 방법은 각기 다른 알고리즘으로 학습시키는 것이다. 이렇게 하면 매우 다른 종류의 오차를 만들 가능성이 높기 때문에 앙상블 모델의 정확도를 향상시킨다.
Stacking
배깅, 부스팅 그리고 스태킹: Bagging, Boosting and Stacking
앙상블 방법은 예측기가 가능한 한 서로 독립적일 때 최고의 성능을 발휘한다. 다양한 분류기를 얻는 한 가지 방법은 각기 다른 알고리즘으로 학습시키는 것이다. 이렇게 하면 매우 다른 종류의 오차를 만들 가능성이 높기 때문에 앙상블 모델의 정확도를 향상시킨다.
adaboost
배깅, 부스팅 그리고 스태킹: Bagging, Boosting and Stacking
앙상블 방법은 예측기가 가능한 한 서로 독립적일 때 최고의 성능을 발휘한다. 다양한 분류기를 얻는 한 가지 방법은 각기 다른 알고리즘으로 학습시키는 것이다. 이렇게 하면 매우 다른 종류의 오차를 만들 가능성이 높기 때문에 앙상블 모델의 정확도를 향상시킨다.
gradientboosting
배깅, 부스팅 그리고 스태킹: Bagging, Boosting and Stacking
앙상블 방법은 예측기가 가능한 한 서로 독립적일 때 최고의 성능을 발휘한다. 다양한 분류기를 얻는 한 가지 방법은 각기 다른 알고리즘으로 학습시키는 것이다. 이렇게 하면 매우 다른 종류의 오차를 만들 가능성이 높기 때문에 앙상블 모델의 정확도를 향상시킨다.
lightgbm
LightGBM
XGBoost는 매우 뛰어난 부스팅 알고리즘이지만 XGBoost에서 GridSearchCV로 수행시간이 너무 오래 걸려서 많은 파라미터를 튜닝하기에 어려움을 겪을 수밖에 없다.
gradient descent
경사 하강법, Gradient Descent
경사 하강법, gradient descent
optimizer
딥러닝 옵티마이저, Optimizer
경사 하강법
momentum
딥러닝 옵티마이저, Optimizer
경사 하강법
nesterov
딥러닝 옵티마이저, Optimizer
경사 하강법
AdaGrad
딥러닝 옵티마이저, Optimizer
경사 하강법
RMSProp
딥러닝 옵티마이저, Optimizer
경사 하강법
Adam
딥러닝 옵티마이저, Optimizer
경사 하강법
Nadam
딥러닝 옵티마이저, Optimizer
경사 하강법
Boltzmann machine
볼츠만 머신, Boltzmann machine
볼츠만 머신
Q Learning
강화학습 공식 정리
n-step TD $G_{t:t+n} \doteq R_{t+1}+\gamma R_{t+2}+ \cdots + \gamma^{n-1}R_{t+n}+\gamma V_{t+n-1}(S_{t+n})$
Sarsa
강화학습 공식 정리
n-step TD $G_{t:t+n} \doteq R_{t+1}+\gamma R_{t+2}+ \cdots + \gamma^{n-1}R_{t+n}+\gamma V_{t+n-1}(S_{t+n})$
NLP
자연어 처리 개요
『텐서플로2와 머신러닝으로 시작하는 자연어 처리』 책을 보고 정리하기 위해 쓴 글이다.
텐서플로2와 머신러닝으로 시작하는 자연어 처리
자연어 처리 개요
『텐서플로2와 머신러닝으로 시작하는 자연어 처리』 책을 보고 정리하기 위해 쓴 글이다.
stationary
강화학습에서 stationary와 deterministic
스터디 중 stationary 관련하여 설명하였다, 그런데 설명 후 그것은 deterministic이라는 지적을 받았다. 생각해보니 그 두개를 혼재하며 사용하고 있었다는 것을 느껴 관련하여 정리하기 위하여 이 글을 쓴다.
deterministic
강화학습에서 stationary와 deterministic
스터디 중 stationary 관련하여 설명하였다, 그런데 설명 후 그것은 deterministic이라는 지적을 받았다. 생각해보니 그 두개를 혼재하며 사용하고 있었다는 것을 느껴 관련하여 정리하기 위하여 이 글을 쓴다.
REINFORCE
REINFORCE
좋은 결과를 초래한 행동이 더 높은 확률로 선택되도록 에이전트를 학습시켜야 한다. 행동 확률이 정책 경사(policy gradient)를 따라 변하기 때문에 REINFORCE는 정책 경사 알고리즘으로 알려져 있다.
UCB
긍정적 초기값과 UCB에서 Spike에 관한 고찰
[figure 2.3]
pytorch
pytorch : Categorical, Normal
단단한 심층 강화학습을 보고 아래의 두 코드를 보았다.
distribution
pytorch : Categorical, Normal
단단한 심층 강화학습을 보고 아래의 두 코드를 보았다.
Categorical
pytorch : Categorical, Normal
단단한 심층 강화학습을 보고 아래의 두 코드를 보았다.
Normal
pytorch : Categorical, Normal
단단한 심층 강화학습을 보고 아래의 두 코드를 보았다.
Experience Replay
DQN, 심층 Q 네트워크
DQN은 $Q$함수를 근사하는 가치 기반 시간차(value-based temporal difference (TD)) 알고리즘이다. 학습된 $Q$ 함수를 이용하여 행동을 선택한다. DQN은 이산적 행동 공간을 갖는 환경에만 적용할 수 있다. SARSA와 달리 최적 $Q$ 함수를 학습...
Catastrophic forgetting
DQN, 심층 Q 네트워크
DQN은 $Q$함수를 근사하는 가치 기반 시간차(value-based temporal difference (TD)) 알고리즘이다. 학습된 $Q$ 함수를 이용하여 행동을 선택한다. DQN은 이산적 행동 공간을 갖는 환경에만 적용할 수 있다. SARSA와 달리 최적 $Q$ 함수를 학습...
Target Networks
향상된 DQN
Target Networks
Double DQN
향상된 DQN
Target Networks
Prioritized Experience Replay
향상된 DQN
Target Networks
Importance Sampling
향상된 DQN
Target Networks
openai
gym(gymnasium) 환경 구성시 고려할 점
해당 포스트는 아래 글로 새로 업데이트 되었습니다. 삭제하기 아까워 남깁니다.
pettingzoo
gym(gymnasium) 환경 구성시 고려할 점
해당 포스트는 아래 글로 새로 업데이트 되었습니다. 삭제하기 아까워 남깁니다.
Queue
파이썬의 큐 모듈 속도 비교
파이썬에는 큐를 구현하는 방법이 세 가지가 있다.
deque
파이썬의 큐 모듈 속도 비교
파이썬에는 큐를 구현하는 방법이 세 가지가 있다.
pop
파이썬의 pop 연산 속도 비교
파이썬에서 list를 사용시에 가장 오른쪽에 있는 요소를 제거하는 방법은 여러 가지가 있다.
gymnaisum
gym Wrappers 정리
gym이 gymnasium으로 바뀌었으나 서술의 편의를 위하여 gym으로 서술하겠다.
wrappers
gym Wrappers 정리
gym이 gymnasium으로 바뀌었으나 서술의 편의를 위하여 gym으로 서술하겠다.
Dueling DQN
Dueling DQN
Dueling Network Architectures for Deep Reinforcement Learning, Wang et al, 2015. Algorithm: Dueling DQN.
PER
Prioritized Experience Replay
Prioritized Experience Replay, Schaul et al, 2015. Algorithm: Prioritized Experience Replay (PER).
multithreading
파이썬 멀티스레딩, multithreading
파이썬 3 바이블을 참고하였다.
multiprocessing
파이썬 멀티프로세싱, python multiprocessing
파이썬 3 바이블을 참고하였다.
distributions
Pytorch Categorical 이해하기
Categorical
categorical
Pytorch Categorical 이해하기
Categorical
2048
2048 게임 강화학습 도전기
2048 게임을 정복하기 위해 gym-game2048 강화학습 환경을 만들고 그것을 정복하기 위해 시도한 시행착오를 적어놓은 일지이다.
wandb
wandb 사용시 주의할 점
1. 한 메트릭의 스칼라는 100K 이하여야 한다.
Woodoku
Woodoku/BlockPuzzle 게임 강화학습 도전기
Woodoku는 특정 게임의 이름입니다. 좋은 이름이 떠오르지 않아 환경 또한 Woodoku로 이름지었습니다. 비슷한 게임이 여럿 있는 것으로 알고있지만 어떤 게임이 원조인지는 모릅니다. Woodoku 이름 관련하여 문제가 있을 경우 왼쪽 프로필의 이메일로 연락 주시길 바랍니다.
BLockPuzzle
Woodoku/BlockPuzzle 게임 강화학습 도전기
Woodoku는 특정 게임의 이름입니다. 좋은 이름이 떠오르지 않아 환경 또한 Woodoku로 이름지었습니다. 비슷한 게임이 여럿 있는 것으로 알고있지만 어떤 게임이 원조인지는 모릅니다. Woodoku 이름 관련하여 문제가 있을 경우 왼쪽 프로필의 이메일로 연락 주시길 바랍니다.
책리뷰
맨 위로 이동 ↑bisect
Python bisect.insort vs list.sort
파이썬 표준 라이브러리에는 이진 탐색을 위한 bisect 가 있다.
insort
Python bisect.insort vs list.sort
파이썬 표준 라이브러리에는 이진 탐색을 위한 bisect 가 있다.
sort
Python bisect.insort vs list.sort
파이썬 표준 라이브러리에는 이진 탐색을 위한 bisect 가 있다.
deepcopy
Python copy.deepcopy vs list[:]
파이썬에서 리스트를 깊은 복사하는 방법에는 두 가지가 있다.
list comprehension
파이썬 리스트 선언 속도 비교
파이썬 리스트 선언 방법에는 여러 가지가 있다. 실험을 통해 각각의 속도를 비교해보자
module
파이썬의 모듈과 패키지
쓸 때마다 헷갈려서 정리하는 글이다.
package
파이썬의 모듈과 패키지
쓸 때마다 헷갈려서 정리하는 글이다.
Pytorch
tensorflow ↔ pytorch
Tensor
Tensorflow
tensorflow ↔ pytorch
Tensor
str
str과 list의 문자열 인덱스 참조 속도 비교
경로 찾기같은 문제에서 격자형 공간이 주어질 때가 있다.
auto diffrentiation
자동 미분 계산 그래프 연습
자동 미분 계산 그래프를 연습한다.
computationn graph
자동 미분 계산 그래프 연습
자동 미분 계산 그래프를 연습한다.
snakegame
snakegame 강화학습 도전기
스네이크 게임은 정해진 그리드 격자 배열 안에서 뱀을 움직이면서 1개 이상의 아이템을 먹으면서 몸을 키우는 게임이다. 아이템을 먹으면 몸이 1칸 늘어나게 된다. 자기 몸에 박거나 벽에 박게 되면 게임이 종료된다.
TRPO
(WIP)TRPO, Trust Region Policy Optimization
(수정중… 지속적으로 수정될 예정)
우수학술도서
우수학술도서 모음
컴퓨터 이외의 분야는 관련된 것을 최대한 남김
invalid action masking
이산 행동공간 환경에서 Action Masking 적용기
아래 두 자료를 바탕으로 작성된 자료이다.
Policy Gradient
(WIP)Policy Gradient
Policy Gradient