2021-1ํ•™๊ธฐ, ๋Œ€ํ•™์—์„œ โ€˜๊ณผ์ œ์—ฐ๊ตฌโ€™ ์ˆ˜์—…์—์„œ ์ง„ํ–‰ํ•˜๋Š” ๊ฐœ์ธ ํ”„๋กœ์ ํŠธ๋ฅผ ์œ„ํ•ด ๊ฐœ์ธ์ ์œผ๋กœ ์ •๋ฆฌํ•œ ํฌ์ŠคํŠธ์ž…๋‹ˆ๋‹ค. ์ง€์ ๊ณผ ๊ต๋ฅ˜๋Š” ์–ธ์ œ๋‚˜ ํ™˜์˜์ž…๋‹ˆ๋‹ค :)

13 minute read

2021-1ํ•™๊ธฐ, ๋Œ€ํ•™์—์„œ โ€˜๊ณผ์ œ์—ฐ๊ตฌโ€™ ์ˆ˜์—…์—์„œ ์ง„ํ–‰ํ•˜๋Š” ๊ฐœ์ธ ํ”„๋กœ์ ํŠธ๋ฅผ ์œ„ํ•ด ๊ฐœ์ธ์ ์œผ๋กœ ์ •๋ฆฌํ•œ ํฌ์ŠคํŠธ์ž…๋‹ˆ๋‹ค. ์ง€์ ๊ณผ ๊ต๋ฅ˜๋Š” ์–ธ์ œ๋‚˜ ํ™˜์˜์ž…๋‹ˆ๋‹ค :)

Model DesignPermalink

๋จผ์ € ์…‹์—…์„ ์ข€ ์‚ดํŽด๋ณด์ž.

ํ–‰๋ ฌ RโˆˆRNuร—Ni์€ ํ‰์  ํ–‰๋ ฌ๋กœ, ๊ฐ ์œ ์ €๊ฐ€ ์•„์ดํ…œ์— ๋Œ€ํ•ด ๋งค๊ธด ํ‰์  ์ •๋ณด๊ฐ€ ๋“ค์–ด์žˆ๋‹ค. ์ด๋•Œ, Nu๋Š” ์ด ์œ ์ €์˜ ์ˆ˜, Ni๋Š” ์ด ์•„์ดํ…œ์˜ ์ˆ˜๋ฅผ ์˜๋ฏธํ•œ๋‹ค.

์ด์ œ ์ด ํ–‰๋ ฌ R๋ฅผ <latent factor matrix> X, Y๋กœ ๋ถ„ํ•ดํ•ด๋ณด์ž! ์ด๋•Œ โ€œlatent factor์˜ ์ฐจ์›โ€œ์„ ์ •ํ•ด์•ผ ํ•˜๋Š”๋ฐ, Nf๋ผ๊ณ  ์„ค์ •ํ•ด๋‘์ž! ๋ณดํ†ต 50์—์„œ 200 ์‚ฌ์ด๋กœ ์„ค์ •ํ•œ๋‹ค๊ณ  ํ•œ๋‹ค. ๊ทธ๋ž˜์„œ MF๋ฅผ ์ง„ํ–‰ํ•˜๋ฉด, ํ–‰๋ ฌ X, Y๋Š” ๊ฐ๊ฐ XโˆˆRNfร—Nu, YโˆˆRNfร—Ni๊ฐ€ ๋œ๋‹ค.

<Latent factor matrix> X, Y๋Š” ๊ฐ๊ฐ ์šฐ๋ฆฌ๊ฐ€ ํ•™์Šต์‹œํ‚ค๊ณ ์ž ํ•˜๋Š” ๋Œ€์ƒ์ด๋‹ค. ์ด ํ–‰๋ ฌ๋“ค์€ ์ฒ˜์Œ์— ์•„์ฃผ ์ž‘์€ ๋žœ๋ค๊ฐ’์œผ๋กœ ์ดˆ๊ธฐํ™”๋œ๋‹ค. (๐Ÿ’ฅ ํ–‰๋ ฌ R์˜ ๊ฐ’์„ ์ชผ๊ฐœ์–ด ์ƒ์„ฑํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋‹ค!)

์ด์ œ ์šฐ๋ฆฌ๋Š” factor matrix X, Y๋ฅผ ํ†ตํ•ด ํ‰์  ํ–‰๋ ฌ์˜ prediction์ธ R^์„ ์œ ๋„ํ•  ๊ฒƒ์ด๋‹ค. ๋ฐฉ๋ฒ•์€ ๊ฐ„๋‹จํ•œ๋ฐ, ๊ทธ๋ƒฅ X์™€ Y๋ฅผ ๊ณฑํ•ด์ฃผ๋ฉด ๋œ๋‹ค.

R^=XTร—Y

์ด๋•Œ, ํ–‰๋ ฌ R^์˜ ์›์†Œ์ธ r^ui๋Š” ์œ ์ € u๊ฐ€ ์•„์ดํ…œ i์— ๋Œ€ํ•ด ๋‚ด๋ฆฌ๋Š” ํ‰์ ์„ predictionํ•œ ๊ฒƒ์ด๋‹ค.

r^ui=xuTร—yi

์ฆ‰, ์‚ฌ์šฉ์ž์˜ latent vector xu์™€ ์•„์ดํ…œ์˜ latent vector yi๋ฅผ ๊ณฑํ•ด ํ‰์ ์„ ์ถ”๋ก ํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ๊ทธ๋ž˜์„œ LMF ๋ชจ๋ธ์˜ ๋ชฉํ‘œ๋Š” r^ui๊ฐ€ ์ตœ๋Œ€ํ•œ rui์™€ ๊ฐ€๊นŒ์›Œ์ง€๋„๋ก Latent Factor Matrix X, Y์˜ ๊ฐ’์„ ์กฐ์ •ํ•˜๋Š” ๊ฒƒ์ด๋ผ๊ณ  ๋ณด๋ฉด ๋œ๋‹ค!


How to Train?: LossPermalink

์ด์ œ ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค๊ธฐ ์œ„ํ•œ ํŒŒํŠธ๋‹ค. ๋ฐฉ๋ฒ•์€ strightforward ํ•œ๋ฐ, ๊ทธ๋ƒฅ r^ui์™€ rui ์‚ฌ์ด์˜ ๊ฐ’์ด ๊ฐ€๊นŒ์›Œ์ง€๋„๋ก ๋‘ ๊ฐ’์˜ ์ฐจ์ด๊ฐ’์„ minimize ํ•˜๋ฉด ๋œ๋‹ค!

L(X,Y)=โˆ‘u,i(ruiโˆ’xuTyi)2

Regularization ํ…€์„ ์ถ”๊ฐ€ํ•ด์ฃผ๋ฉด ์•„๋ž˜์™€ ๊ฐ™๋‹ค.

L(X,Y)=โˆ‘u,i(ruiโˆ’xuTyi)2+ฮป(โˆ‘u|xu|2+โˆ‘i|yi|2)

OptimizationPermalink

Loss Function์„ ๋””์ž์ธ ํ–ˆ์œผ๋‹ˆ ์ด์ œ Optimization๋งŒ ๋‹ฌ์„ฑํ•˜๋ฉด ๋œ๋‹ค. ๋‘ ๊ฐ€์ง€ ๋ฐฉ๋ฒ•์ด ์žˆ๋Š”๋ฐ, <Gradient Descent>์™€ <Alternating Least Squares>, ๋‘ ๊ฐ€์ง€ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด ์žˆ๋‹ค. ๊ฐ๊ฐ ์–ด๋–ป๊ฒŒ ๋™์ž‘ํ•˜๋Š”์ง€ ์‚ดํŽด๋ณด์ž!

Gradient DescentPermalink

GD๋Š” ๊ทธ๋ƒฅ Loss ํ•จ์ˆ˜ L(X,Y)๋ฅผ ๋ฏธ๋ถ„ํ•˜๊ณ  ์ด์— ๋Œ€ํ•œ Gradient ๊ฐ’์„ back-propagation ํ•ด์ฃผ๋ฉด ๋œ๋‹ค. ์‹ค์ œ ๋™์ž‘์€ ๋”ฅ๋Ÿฌ๋‹ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ์‰ฝ๊ฒŒ ๋‹ฌ์„ฑํ•  ์ˆ˜ ์žˆ๋‹ค.

๊ฐ„๋‹จํ•˜๊ฒŒ xu์— ๋Œ€ํ•ด์„œ๋งŒ GD๋ฅผ ์ ์šฉํ•ด๋ณด์ž.

โˆ‚โˆ‚xuL(xu,yi)=โˆ‚โˆ‚xu(โˆ‘i(ruiโˆ’xuTyi)2+ฮป(|xu|2+โˆ‘i|yi|2))=โˆ‘i2(ruiโˆ’xuTyi)(โˆ’yi)+ฮป(2xu)

์ด์ œ ์ด Gradient ๊ฐ’์œผ๋กœ weight update๋ฅผ ์ง„ํ–‰ํ•˜๋ฉด ๋œ๋‹ค.

xuโ†xu+ฮฑโ‹…(โˆ‘i(ruiโˆ’xuTyi)(yi)โˆ’ฮปxu)

๐Ÿ’ฅ ๋ณธ์ธ์€ yi์˜ ์ฐจ์› ๋•Œ๋ฌธ์— ์œ ๋„๋ฅผ ํ•˜๊ณ ๋„ ์œ„์˜ ์‹์ด ์กฐ๊ธˆ ํ—ท๊ฐˆ๋ ธ๋Š”๋ฐ, ์…‹์—…์„ ๋‹ค์‹œ ๋ณด๋‹ˆ๊นŒ, yi๊ฐ€ Nf ์ฐจ์›์˜ ์—ด๋ฒกํ„ฐ์˜€๋‹ค ใ…‹ใ…‹ใ…‹

Gradient Descent ๋ฐฉ์‹์˜ ๋‹จ์ ์€ ์ตœ์ ํ™”๋ฅผ ์‹œํ‚ค๋Š” ๊ณผ์ •์ด ๋„ˆ๋ฌด ๋Š๋ฆฌ๊ณ , ๋งŽ์€ ๋ฐ˜๋ณต์ด ํ•„์š”ํ•˜๋‹ค. ๋˜, Global minimum์ด ์•„๋‹Œ local minimum์— stuckํ•  ๊ฐ€๋Šฅ์„ฑ์ด ์žˆ๋‹ค ๋“ฑ๋“ฑ์˜ ๋‹จ์ ์ด ์žˆ๋‹ค. ๋‹จ์ ์ด ์žˆ๊ธด ์žˆ๋‹ค ๋‘๋ฒˆ์งธ ๋ฐฉ๋ฒ•์ธ <Alternating Least Squares>๋Š” ์ด๋Ÿฐ ๋ฌธ์ œ๋ฅผ ์Šค๋งˆํŠธํ•˜๊ฒŒ ํ•ด๊ฒฐํ•œ๋‹ค! ๐Ÿ˜Ž


Alternating Least SquaresPermalink

<Alternating Least Squares>์˜ ์ปจ์…‰์€ X, Y ๋‘˜ ์ค‘ ํ•˜๋‚˜๋ฅผ ๊ณ ์ •์‹œํ‚ค๊ณ , ๋‹ค๋ฅธ ํ•˜๋‚˜๋ฅผ ์ตœ์ ํ™” ์‹œํ‚จ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ์ด ๊ณผ์ •์„ ๋ฒˆ๊ฐˆ์•„๊ฐ€๋ฉด ๋ฐ˜๋ณต, ์ฆ‰ alternating ํ•˜๋ฉด์„œ ์งง์€ ์‹œ๊ฐ„ ๋‚ด์— ์ตœ์ ์˜ X, Y๋ฅผ ์ฐพ์•„๋‚ธ๋‹ค! (๋‘ ํ–‰๋ ฌ์„ ํ•œ๊บผ๋ฒˆ์— ์ตœ์ ํ™”์‹œํ‚ค๋Š” ๊ฒƒ์€ ์–ด๋ ต๋‹ค ๐Ÿ’ซ)

๋จผ์ € <ALS>์˜ loss๋Š” ์•„๋ž˜์™€ ๊ฐ™์ด ์ •์˜๋œ๋‹ค.

L(X,Y)=โˆ‘u,icuiโ‹…(puiโˆ’xuTyi)2+ฮป(โˆ‘u|xu|2+โˆ‘i|yi|2)

<GD>์—์„œ์˜ Loss์™€ ์กฐ๊ธˆ ๋‹ฌ๋ผ์กŒ๋Š”๋ฐ, cui์™€ pui๊ฐ€ ์ถ”๊ฐ€๋˜์—ˆ๋‹ค. ์ด ๋‘ ๊ฐ’์€ ํ‰์ ์„ ์„ ํ˜ธ๋„(preference) p์™€ ์‹ ๋ขฐ๋„(confidence) c๋กœ ๋‚˜๋ˆ„์–ด ์ ‘๊ทผํ•œ ๊ฒƒ์ด๋ผ๊ณ  ์„ค๋ช…ํ•œ๋‹ค.


๋จผ์ €, ์„ ํ˜ธ๋„ pui๋Š” ์•„๋ž˜์™€ ๊ฐ™์ด ์ •์˜๋œ๋‹ค. ํ‰์  rui์˜ ๊ฐ’์— ์˜ํ•ด ์ •์˜๋œ๋‹ค.

pui={1ifrui>00ifrui=0

์ด๊ฒƒ์€ ์œ ์ €๊ฐ€ ํ‰์ ์„ ๋‚จ๊ฒผ๋‹ค๋ฉด(rui>0), ์œ ์ €๊ฐ€ ์„ ํ˜ธ๋„๋ฅผ ๊ฐ€์ง„๋‹ค๋Š” ๊ฒƒ์„ ํ‘œํ˜„ํ•œ ์‹์ด๋‹ค. (<ALS>๋Š” Implicit Dataset์—์„œ ์ด๊ธฐ ๋•Œ๋ฌธ์— ์‚ฌ์šฉ์ž๊ฐ€ ์„ ํ˜ธ์™€ ๋น„์„ ํ˜ธ๋ฅผ ๊ตฌ๋ถ„ํ•˜์ง€ ์•Š๋Š”๋‹ค!)


๋‹ค์Œ์œผ๋กœ ์‹ ๋ขฐ๋„ cui๋Š” ์•„๋ž˜์™€ ๊ฐ™์ด ์ •์˜๋œ๋‹ค. ์‹ค์ œ๋ก  ์„ ํ˜ธํ•˜์ง€๋งŒ, ํ‰์ ์ด ์—†๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์œ„ํ•ด ๋„์ž…ํ•œ ๊ฐ’์ด๋‹ค.

cui=1+ฮฑrui

์šฐ๋ฆฌ๋Š” ์„ ํ˜ธ๋„ pui๋ฅผ ํ†ตํ•ด ํ‰์ ์€ ์—†๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ๋‘ 0์œผ๋กœ ๋ฐ”๊พธ์—ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์—ฌ๊ธฐ์—๋Š” ์‹ค์ œ๋ก  ์„ ํ˜ธํ•˜์ง€๋งŒ, ํ‰์ ์ด ์—†๋Š” ๊ฒฝ์šฐ๋„ ์žˆ์„ ์ˆ˜ ์žˆ๋‹ค. <ALS>์—์„œ๋Š” ์ด ๊ฒฝ์šฐ๋ฅผ ๋ฐ์ดํ„ฐ์˜ ์‹ ๋ขฐ๋„๊ฐ€ ๋‚ฎ์€ ๊ฒƒ์œผ๋กœ ํ•ด์„ํ•œ๋‹ค!

<ALS>๋Š” ์‹ ๋ขฐ๋„ ๋ณ€์ˆ˜๋ฅผ ๋„์ž…ํ•ด ํ‰์ ์ด ์—†๋Š” ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์˜ˆ์ธก๋„ ์ „์ฒด Loss Function์— ์˜ํ–ฅ์„ ์ฃผ๋„๋ก ๋งŒ๋“ค์—ˆ๋‹ค. ์ด๊ฒƒ์€ ํ‰์ ์ด ์—†๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ๋‘ ํ•™์Šต์—์„œ ์ œ์™ธํ•œ <Explicit Dataset>๊ณผ๋Š” ๋Œ€์กฐ๋˜๋Š” ์ ์ด๋‹ค! ๐Ÿ˜ฒ

์‹ ๋ขฐ๋„ ๋ณ€์ˆ˜ cui์—๋Š” ํ‰์  rui๊ฐ€ ์žˆ๋Š”๋ฐ, ์ด๊ฒƒ์„ ํ†ตํ•ด ํ‰์ ์ด ์—†๋Š” ๋ฐ์ดํ„ฐ์—๋Š” ๋‚ฎ์€ c ๊ฐ’์„ ๋ถ€์—ฌํ•ด loss์— ํฌํ•จํ•˜๋˜ ํ•™์Šต์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์ด ์ž‘๋„๋ก ๋งŒ๋“ค์—ˆ๋‹ค.


โ€˜๊ฐˆ์•„๋จน๋Š” ์ถ”์ฒœ ์•Œ๊ณ ๋ฆฌ์ฆ˜โ€™์˜ ์ €์ž๋ถ„๊ป˜์„œ๋Š” ์‹ ๋ขฐ๋„ ๋ณ€์ˆ˜ cui๋ฅผ ๋„์ž…ํ•˜๋Š” ์ด์œ ๋ฅผ โ€œImplicit Dataset์— ํ‰์ ์ด ์—†๋Š” ๋ฐ์ดํ„ฐ๊ฐ€ ํ›จ์”ฌ ๋งŽ์•„, ์‹ค์ œ ๋ฐ์ดํ„ฐ์…‹์€ ํ›จ์”ฌ sparseํ•œ matrixโ€๋ผ๊ณ  ์„ค๋ช…ํ•ด์ฃผ์…จ๋‹ค. ๋งŒ์•ฝ, ํ‰์ ์ด ์—†๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐฐ์ œํ•˜๊ณ  ํ•™์Šต์„ ์ง„ํ–‰ํ•œ๋‹ค๋ฉด, ์ด๊ฒƒ์€ ํ•™์Šต์— ๋Œ€ํ•œ ์˜ฌ๋ฐ”๋ฅธ ์ ‘๊ทผ์ด ์•„๋‹ˆ๋ฉฐ, ์„ค๋ช… ๊ฐ€์ค‘์น˜๊ฐ€ ๋‚ฎ๋”๋ผ๋„ ๊ทธ ์ˆ˜๊ฐ€ ์›”๋“ฑํžˆ ๋งŽ๊ธฐ ๋•Œ๋ฌธ์— ํ•™์Šต์— ์œ ์˜๋ฏธํ•œ ์˜ํ–ฅ์„ ๋ฏธ์น˜๊ฒŒ ๋œ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค.

์ด๋ฒˆ์—๋Š” ์‹ค์ œ๋กœ <ALS>์˜ ๋™์ž‘์„ ์‚ดํŽด๋ณด์ž!

1. ๋จผ์ € ์‚ฌ์šฉ์ž์™€ ์•„์ดํ…œ์˜ Latent Factor ํ–‰๋ ฌ์„ ์•„์ฃผ ์ž‘์€ ๋žœ๋ค๊ฐ’์œผ๋กœ ์ดˆ๊ธฐํ™” ํ•œ๋‹ค.

2. ๋‘˜ ์ค‘ ํ•˜๋‚˜๋ฅผ ์ƒ์ˆ˜๋กœ ๊ณ ์ •์‹œ์ผœ, Loss Function์„ Convex Function์œผ๋กœ ๋งŒ๋“ ๋‹ค.

3. Loss๋ฅผ ํŽธ๋ฏธ๋ถ„ ํ•œ๋‹ค. ๋ฏธ๋ถ„ ๊ฐ’์„ 0์œผ๋กœ ๋งŒ๋“œ๋Š” ํ–‰๋ ฌ์„ ๊ณ„์‚ฐํ•œ๋‹ค.

4. [2-3] ๋ฐ˜๋ณต

์•„์ดํ…œ์˜ Latent Factor๋ฅผ ๊ณ ์ •ํ•˜๊ณ , ์‚ฌ์šฉ์ž์˜ LF๋ฅผ ์ตœ์ ํ™” ์‹œ์ผœ๋ณด์ž.

์•„์ดํ…œ ํ–‰๋ ฌ์„ ๊ณ ์ •ํ•˜๊ณ , <ALS>์˜ Loss๋ฅผ ์‚ฌ์šฉ์ž xu์— ๋Œ€ํ•ด ๋ฏธ๋ถ„ํ•˜๋ฉด ์•„๋ž˜์™€ ๊ฐ™๋‹ค.

โˆ‚L(xu)โˆ‚xu=โˆ‚โˆ‚xu[โˆ‘icuiโ‹…(puiโˆ’xuTyi)2+ฮป(|xu|2+โˆ‘i|yi|2)]=[โˆ‘icuiโ‹…2(puiโˆ’xuTyi)(โˆ’yi)]+2ฮปxu=0

์‹์„ ์ •๋ฆฌํ•˜๋ฉด,

(โˆ‘icuiโ‹…xuTyiโ‹…yi)+ฮปxu=โˆ‘icuiโ‹…puiโ‹…yi

์‹์„ xu์— ๋Œ€ํ•ด ์ •๋ฆฌํ•ด์•ผ ํ•˜๊ธฐ ๋•Œ๋ฌธ์—, scalar xuTyi๋ฅผ yiTxu๋กœ ๋ฐ”๊ฟ”์ค€๋‹ค.

(โˆ‘icuiโ‹…yiTxuโ‹…yi)+2ฮปxu=โˆ‘icuiโ‹…puiโ‹…yi

์ด์ œ ์ขŒ๋ณ€์„ xu์— ๋Œ€ํ•ด ๋ฌถ์–ด์ค€๋‹ค.

(โˆ‘icuiโ‹…yiTxuโ‹…yi)+2ฮปxu=(โˆ‘icuiโ‹…yiโ‹…yiTxu)+2ฮปxu=(โˆ‘icuiโ‹…yiyiT)xu+2ฮปxu=[(โˆ‘icuiโ‹…yiyiT)+2ฮปI]xu

์œ„์˜ ์‹์—๋Š” ํ•ฉ(ๅˆ)์œผ๋กœ ์ด๋ฃจ์–ด์ ธ ์žˆ์–ด ์‹์„ ๊ฒฐ๊ณผ๋ฅผ ์–ป๋Š”๋ฐ ์กฐ๊ธˆ ๋ถˆํŽธํ•˜๋‹ค. ๊ทธ๋ž˜์„œ ์•„๋ž˜์˜ ๊ณผ์ •์„ ํ†ตํ•ด ์‹์„ ์ข€๋” ๋‹จ์ˆœํ™”ํ•ด๋ณด์ž!

์•„์ดํ…œ ํ–‰๋ ฌ Y=[y1,y2,โ‹ฏ,yi]์— ๋Œ€ํ•ด Yร—YT๋Š” ์•„๋ž˜์™€ ๊ฐ™๋‹ค.

YYT=[y1y1T+y2y2T+โ‹ฏ+yiyiT]=โˆ‘iyiyiT

ํ•˜์ง€๋งŒ, ์œ„์˜ ์‹์—๋Š” ์‹ ๋ขฐ๋„ cui๊ฐ€ ๋น ์ ธ์žˆ๋‹ค. ์ด๊ฒƒ์€ diag matrix๋ฅผ ํ†ตํ•ด ์‰ฝ๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋‹ค!

Let Cu be

Cu=(cu10000cu20000โ‹ฑ0000cui)

then, YCuYT is

YCuYT=[cu1y1y1T+cu2y2y2T+โ‹ฏ+cuiyiyiT]=โˆ‘icuiyiyiT

์šฐ๋ณ€๋„ ์‹์„ ์ •๋ฆฌํ•ด๋ณด์ž.

YTCupu=[y1,โ€ฆ,yi](cu10000cu20000โ‹ฑ0000cui)(pu1โ‹ฎpui)=[cu1y1,โ€ฆ,cuiyi](pu1โ‹ฎpui)=pu1cu1y1+โ‹ฏ+puicuiyi=โˆ‘icuipuiyi

์ด์ œ ์œ„์˜ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ (์ค€์‹)์„ ๋‹ค์‹œ ๊ธฐ์ˆ ํ•ด๋ณด์ž.

[(โˆ‘icuiโ‹…yiyiT)+ฮปI]xu=โˆ‘icuiโ‹…puiโ‹…yi(YCuYT+ฮปI)xu=YTCupu

์ด์ œ xu๋ฅผ ์–ป๊ธฐ ์œ„ํ•ด ์ขŒ๋ณ€์˜ ํ–‰๋ ฌ์„ ์šฐ๋ณ€์œผ๋กœ ์˜ฎ๊ธฐ๋ฉด,

xu=(YCuYT+ฮปI)โˆ’1โ‹…YTCupu

์‹์„ ์•ฝ๊ฐ„ ๋‹ค๋“ฌ์œผ๋ฉด,

xu=(YTCuY+ฮปI)โˆ’1โ‹…YTCupu

๋!! ์ด๋ ‡๊ฒŒ ๊ตฌํ•œ xu๋กœ ์‚ฌ์šฉ์ž ํ–‰๋ ฌ X๋ฅผ ์—…๋ฐ์ดํŠธ ํ•˜๋ฉด ๋œ๋‹ค!!

๋‹ค์Œ์—๋Š” ์‚ฌ์šฉ์ž ํ–‰๋ ฌ X๋ฅผ ๊ณ ์ •ํ•˜๊ณ , ์•„์ดํ…œ ํ–‰๋ ฌ Y์— ๋Œ€ํ•ด ๋™์ผํ•œ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•ด yi๋ฅผ ๊ตฌํ•˜๋ฉด,

yu=(XTCiX+ฮปI)โˆ’1โ‹…XTCipi


๋ณดํ†ต ๋ฐ˜๋ณต ํšŸ์ˆ˜๋ฅผ 10~15ํšŒ ์ •๋„๋กœ ์ง„ํ–‰ํ•˜๋ฉด, ๋ฐ์ดํ„ฐ ํฌ๊ธฐ์™€ sparse ์ •๋„์— ๋”ฐ๋ผ ํšŸ์ˆ˜๋Š” ์กฐ์ •๋œ๋‹ค๊ณ  ํ•œ๋‹ค.

<ALS> ์•Œ๊ณ ๋ฆฌ์ฆ˜์— ๋Œ€ํ•œ ๊ตฌํ˜„์€ โ€˜๊ฐˆ์•„๋จน๋Š” ์ถ”์ฒœ ์•Œ๊ณ ๋ฆฌ์ฆ˜โ€™์˜ ์ €์ž โ€˜ํ˜•์ค€ํ‚ดโ€™๋‹˜์˜ ํฌ์ŠคํŠธ๋ฅผ ์ฐธ๊ณ ํ•˜๊ธธ ๋ฐ”๋ž€๋‹ค.

๐Ÿ‘‰ ๊ฐˆ์•„๋จน๋Š” ์ถ”์ฒœ ์•Œ๊ณ ๋ฆฌ์ฆ˜ [5] ALS ๊ตฌํ˜„ํ•˜๊ธฐ


referencesPermalink