함수
- 함수와 변수
- 연속과 불연속함수
- 데이터분석에서 자주 등장하는 불연속함수
- 부호함수
- 단위계단함수
- 지시함수
- 역함수
- 다항식함수
- 지수함수
- 로지스틱함수
- 로그함수
- 소프트플러스 함수
- 다변수함수 & 다변수 다출력 함수
- 함수의 평행이동 및 스케일링
심파이를 사용한 함수 미분
- 최적화에 필요한 미분
- 기울기 : 또는 민감도
- 수치미분 : 대략적인 기울기 구함
- 미분 : 도함수를 만들어 내는 작업
- 도함수 : 변수를 입력했을때 그 순간의 기울기를 출력하는 함수
- 미분공식 5가지
- 기본 미분공식 : 상수, 거듭제곱
- 선형조합법칙
- 곱셈법칙
- 연쇄법칙
- 로그함수의 연쇄법칙
- 편미분 : 둘 이상의 독립변수를 가지는 다변수 함수의 미분
- 다변수 함수의 연쇄법칙
- 2차 편미분 : 편미분에 대한 2차 도함수. 각 미분에 쓰이는 독립변수를 자유롭게 사용
- 테일러 전개 : 함수의 기울기를 안다면, 함수의 모양 근사화 가능
적분
- 미분과 반대 개념 : 도함수를 원래 함수로 돌리는 것
- 편미분의 부정적분 : 마지막 상수항이 C(y),C(x)처럼 함수 일수도 있음
- 다차 도함수와 다중적분 : x로 편미분한후 y로 편미분한 함수는, y로 적분후 x로 다시 적분해야 한다
- 정적분 : 독립변수 x가 [a,b]구간 사이일때, 함수 f(x)의 값과 수평선이 이르는 면적을 구하는 행위
- 수치적분 : 함수를 아주 작은 구간으로 나누어 실제면적 계산하는 노가다
- 다변수 정적분 : 입력변수가 여러개인 함수의 정적분
- 다차원 함수의 단일 정적분 : 결과값이 함수가 됨, x만 입력받고 y는 정해지지 않는 상수로 보기 때문
행렬의 미분
- 독립변수가 벡터나 행렬, 혹은 백터나 행렬을 출력하는 것
- 스칼라를 벡터로 미분하는 경우 : 결과를 열벡터로 표시하고 이를 그레디언트 벡터라고 한다
- 평면상에 컨투어 플롯으로 나타내고, 그레디언트 벡터를 화살표로 나타낸것을 퀴버플롯이라 한다
- 그레디언트 벡터의
- 크기는 기울기를 의미. 기울기가 클수록 함수 곡면의 기울기가 커진다.
- 방향은 함수 곡면의 기울기가 가장 큰 방향. 즉, 단위길이당 함수값(높이)가 가장크게 증가하는 방향
- 방향은 등고선의 방향과 직교한다
- 행렬 미분법칙
- 선형모형
- 이차형식
- 행렬과 벡터의 곱의 미분
- 행렬곱의 대각성분
- 행렬식의 로그