(WIP)Policy Gradient
Policy Gradient
Category
- RL 32
- python 11
- EffectiveCpp 9
- ML 5
- sql 3
- DL 3
- jax 3
- optimization 2
- algorithm 2
- torch 2
- Trading 1
- RecSys 1
- NLP 1
- pytorch 1
- wandb 1
- bookreview 1
- AI 1
- dl 1
- Book 1
RL
이산 행동공간 환경에서 Action Masking 적용기
아래 두 자료를 바탕으로 작성된 자료이다.
gymnasium 기반 single agent custom 강화학습 환경 만들기
아래 설명중 나오는 게임들의 예시는 다음과 같다
(WIP)TRPO, Trust Region Policy Optimization
(수정중… 지속적으로 수정될 예정)
snakegame 강화학습 도전기
스네이크 게임은 정해진 그리드 격자 배열 안에서 뱀을 움직이면서 1개 이상의 아이템을 먹으면서 몸을 키우는 게임이다. 아이템을 먹으면 몸이 1칸 늘어나게 된다. 자기 몸에 박거나 벽에 박게 되면 게임이 종료된다.
단단한 강화학습 코드 정리, chap8
ShangtongZhang github
Woodoku/BlockPuzzle 게임 강화학습 도전기
Woodoku는 특정 게임의 이름입니다. 좋은 이름이 떠오르지 않아 환경 또한 Woodoku로 이름지었습니다. 비슷한 게임이 여럿 있는 것으로 알고있지만 어떤 게임이 원조인지는 모릅니다. Woodoku 이름 관련하여 문제가 있을 경우 왼쪽 프로필의 이메일로 연락 주시길 바랍니다.
2048 게임 강화학습 도전기
2048 게임을 정복하기 위해 gym-game2048 강화학습 환경을 만들고 그것을 정복하기 위해 시도한 시행착오를 적어놓은 일지이다.
단단한 강화학습 코드 정리, chap10
ShangtongZhang github
단단한 강화학습 코드 정리, chap5
ShangtongZhang github
단단한 강화학습 코드 정리, chap12
ShangtongZhang github
단단한 강화학습 코드 정리, chap7
ShangtongZhang github
단단한 강화학습 코드 정리, chap9
ShangtongZhang github
강화학습 문답
유용하다 생각했던 강화학습 관련 Q&A를 정리하는 글이다. 답변자의 신뢰도는 고려하지 않으니 참고할 때 유의하기 바란다.
Prioritized Experience Replay
Prioritized Experience Replay, Schaul et al, 2015. Algorithm: Prioritized Experience Replay (PER).
Dueling DQN
Dueling Network Architectures for Deep Reinforcement Learning, Wang et al, 2015. Algorithm: Dueling DQN.
gym Wrappers 정리
gym이 gymnasium으로 바뀌었으나 서술의 편의를 위하여 gym으로 서술하겠다.
단단한 강화학습 코드 정리, chap6
ShangtongZhang github
강화학습의 환경 요약
강화학습 논문들에서 검증수단으로 활용되는 환경들에 대해서 설명한다. 게임의 경우 공략법보다는 간단한 특징에 주목한다.
강화학습 코드/환경 구현시 팁
강화학습 알고리즘/논문 구현시 겪었던 고충들을 늘어놓고 해결할 때마다 업데이트 하기 위한 글이다. 지속적으로 업데이트 할 예정이다.
강화학습 강의 모음
외국 대학 CS 285, UC Berkeley CS 234, Stanford CS 6789, Cornell
gym(gymnasium) 환경 구성시 고려할 점
해당 포스트는 아래 글로 새로 업데이트 되었습니다. 삭제하기 아까워 남깁니다.
단단한 강화학습 코드 정리, chap4
ShangtongZhang github
향상된 DQN
Target Networks
DQN, 심층 Q 네트워크
DQN은 $Q$함수를 근사하는 가치 기반 시간차(value-based temporal difference (TD)) 알고리즘이다. 학습된 $Q$ 함수를 이용하여 행동을 선택한다. DQN은 이산적 행동 공간을 갖는 환경에만 적용할 수 있다. SARSA와 달리 최적 $Q$ 함수를 학습...
긍정적 초기값과 UCB에서 Spike에 관한 고찰
[figure 2.3]
REINFORCE
좋은 결과를 초래한 행동이 더 높은 확률로 선택되도록 에이전트를 학습시켜야 한다. 행동 확률이 정책 경사(policy gradient)를 따라 변하기 때문에 REINFORCE는 정책 경사 알고리즘으로 알려져 있다.
강화학습에서 stationary와 deterministic
스터디 중 stationary 관련하여 설명하였다, 그런데 설명 후 그것은 deterministic이라는 지적을 받았다. 생각해보니 그 두개를 혼재하며 사용하고 있었다는 것을 느껴 관련하여 정리하기 위하여 이 글을 쓴다.
단단한 강화학습 코드 정리, chap2
ShangtongZhang github
[ch09] 근사를 이용한 활성 정책 예측
활성 정책으로부터 상태가치 함수를 추정하는 과정을 서술한다
강화학습 공식 정리
n-step TD $G_{t:t+n} \doteq R_{t+1}+\gamma R_{t+2}+ \cdots + \gamma^{n-1}R_{t+n}+\gamma V_{t+n-1}(S_{t+n})$
python
파이썬 헷갈리는 것 정리
```python class Test:
str과 list의 문자열 인덱스 참조 속도 비교
경로 찾기같은 문제에서 격자형 공간이 주어질 때가 있다.
파이썬의 모듈과 패키지
쓸 때마다 헷갈려서 정리하는 글이다.
파이썬 리스트 선언 속도 비교
파이썬 리스트 선언 방법에는 여러 가지가 있다. 실험을 통해 각각의 속도를 비교해보자
Python copy.deepcopy vs list[:]
파이썬에서 리스트를 깊은 복사하는 방법에는 두 가지가 있다.
Python bisect.insort vs list.sort
파이썬 표준 라이브러리에는 이진 탐색을 위한 bisect 가 있다.
파이썬 멀티프로세싱, python multiprocessing
파이썬 3 바이블을 참고하였다.
파이썬 멀티스레딩, multithreading
파이썬 3 바이블을 참고하였다.
파이썬의 pop 연산 속도 비교
파이썬에서 list를 사용시에 가장 오른쪽에 있는 요소를 제거하는 방법은 여러 가지가 있다.
파이썬의 큐 모듈 속도 비교
파이썬에는 큐를 구현하는 방법이 세 가지가 있다.
파이썬 복습
1. namedtuple 1-1. 기본 설명 namedtuple 인스턴스는 일반 튜플과 마찬가지로 메모리 효율적이다. 인스턴스마다 딕셔너리를 포함하고 있지 않기 때문이다. 각 namedtuple은 namedtuple() 팩토리 함수를 사용해 생성되는 자신의 클래스로 표현할 수 있다...
EffectiveCpp
EffectiveCpp 52:위치지정 new를 작성한다면 위치지정 delete도 같이 준비하자
기본형 operator new/delete의 경우 1 Widget *pw = new Widget; 위에서는 함수 두 개가 호출된다. 메모리 할당을 위해 operator new가 호출되고 그 뒤를 이어 Widget의 기본 생성자가 호출된다.
EffectiveCpp 51:new 및 delete를 작성할 때 따라야 할 기존의 관례를 잘 알아 두자
operator new 반환 값이 제대로 되어 있어야 하고, 가용 메모리가 부족할 경우에는 new 처리자 함수를 호출해야 한다.
EffectiveCpp 50:new 및 delete를 언제 바꿔야 좋은 소리를 들을지를 파악해 두자
new 및 delete의 기본 제공 버전을 다른 것으로 대체하는 작업을 언제 해야 의미가 있는가
EffectiveCpp 44:매개변수에 독립적인 코드는 템플릿으로부터 분리시키자
아무 생각 없이 템플릿을 사용하면 코드 비대화(code bloat)가 초래될 수 있다. 똑같은 내용의 코드와 데이터가 여러 벌로 중복되어 이진 파일로 구워진다는 뜻이다.
EffectiveCpp 38:has-a 혹은 is-implemented-in-terms-of 를 모형화할 때는 객체 합성을 사용하자
합성 합성이란, 어떤 타입의 객체들이 그와 다른 타입의 객체들을 포함하고 있을 경우에 성립하는 그 타입들 사이의 관계를 말한다.
EffectiveCpp 28:내부에서 사용하는 객체에 대한 ‘핸들’을 반환하는 코드는 되도록 피하자
ex1) 사각형을 추상화한 Rectangle 클래스를 만들었는데, 이 클래스의 객체를 썼을 때의 메모리 부담을 최대한 줄이고 싶다.
EffectiveCpp 27:항목 27: 캐스팅은 절약, 또 절약! 잊지 말자
타입 에러가 생기지 않도록 보장하는것이 C++ 동작 규칙의 바탕 철학이나 캐스트(cast)가 사용될 경우 찾아내기 어려울 경우가 많다. C++ 캐스팅은 조심해서 써야하는 기능이다.
EffectiveCpp 26:변수 정의는 늦출 수 있는 데까지 늦추는 근성을 발휘하자
생성자 혹은 소멸자를 끌고 다니는 타입으로 변수를 정의하면 반드시 물게 되는 비용
ML
LightGBM
XGBoost는 매우 뛰어난 부스팅 알고리즘이지만 XGBoost에서 GridSearchCV로 수행시간이 너무 오래 걸려서 많은 파라미터를 튜닝하기에 어려움을 겪을 수밖에 없다.
배깅, 부스팅 그리고 스태킹: Bagging, Boosting and Stacking
앙상블 방법은 예측기가 가능한 한 서로 독립적일 때 최고의 성능을 발휘한다. 다양한 분류기를 얻는 한 가지 방법은 각기 다른 알고리즘으로 학습시키는 것이다. 이렇게 하면 매우 다른 종류의 오차를 만들 가능성이 높기 때문에 앙상블 모델의 정확도를 향상시킨다.
분류에서의 손실함수
Cross Entropy
sql
SQL 복습
1 WHERE 절에서 = NULL 이 아니라 IS NULL로 찾아야 한다. 반대는 IS NOT NULL
SQL 자료형 복습
문자 데이터 고정 길이 문자열 1 char(20) /* fixed-length */ 공백으로 오른쪽이 채워지고 항상 동일한 수의 바이트를 사용
SQL 명령어 복습
Login / LogOut 1 mysql -u root -p 루트 계정을 사용하여 로그인
DL
볼츠만 머신, Boltzmann machine
볼츠만 머신
배치 정규화, Batch Normalization
배치 정규화 정규화는 머신 러닝 모델에 주입되는 샘플들을 균일하게 만드는 광범위한 방법이다. 이 방법은 모델이 학습하고 새로운 데이터에 잘 일반화되도록 돕는다. 데이터 정규화의 일반적인 형태는 다음과 같다.
딥러닝 활성화 함수, Activation Function
활성화 함수의 필요성 활성화 함수는 비선형성(non-linearity)라고도 부른다. 활성화 함수가 없다면 Dense층은 선형적인 연산인 점곱과 덧셈 2개로 구성된다
jax
맨 위로 이동 ↑optimization
딥러닝 옵티마이저, Optimizer
경사 하강법
경사 하강법, Gradient Descent
경사 하강법, gradient descent
algorithm
알고리즘 PS 오답노트/팁 2
앞 내용(1~20)은 “알고리즘 PS 오답노트/팁”에서 찾아볼 수 있다.
알고리즘 PS 오답노트/팁
뒷 내용(21~40)은 “알고리즘 PS 오답노트/팁 2”에서 찾아볼 수 있다.
torch
torch 시행착오/패턴
1. torch.tenosr는 grad 를 제거한다.
Pytorch Categorical 이해하기
Categorical
Trading
3분의 결과를 이용해 다음 매매를 결정하는 3분 매매법
3분 매매법 3분 양봉이 나오면 다음 1분 시작시에 매수하고 1분이 끝날 때 매도하는 방법
RecSys
맨 위로 이동 ↑NLP
자연어 처리 개요
『텐서플로2와 머신러닝으로 시작하는 자연어 처리』 책을 보고 정리하기 위해 쓴 글이다.
pytorch
pytorch : Categorical, Normal
단단한 심층 강화학습을 보고 아래의 두 코드를 보았다.
wandb
wandb 사용시 주의할 점
1. 한 메트릭의 스칼라는 100K 이하여야 한다.
bookreview
맨 위로 이동 ↑AI
tensorflow ↔ pytorch
Tensor
dl
자동 미분 계산 그래프 연습
자동 미분 계산 그래프를 연습한다.
Book
우수학술도서 모음
컴퓨터 이외의 분야는 관련된 것을 최대한 남김