|
|||||
¾Æ¹«·± ¹®Á¦°¡ ¾ø¾îº¸ÀÌÁö¸¸ Áö¼ÓÀûÀ¸·Î ÄÜÅÙÃ÷°¡ ¹®Á¦°¡ ÀÖ´Ù°í ÇÏ¿© º»¹® ³»¿ëÀ» ¼öÁ¤Çغ½ - °ü¸®ÀÚ ½Ã°è¿ µ¥ÀÌÅÍ´Â °üÃø °ªµéÀÌ ½Ã°£¿¡ µû¶ó º¯ÇÏ´Â ÀڷḦ ¸»ÇÕ´Ï´Ù. ½Ã°è¿ ÀÚ·á´Â ÀϹÝÀûÀÎ Åë°è ÀÌ·ÐÀ̳ª Åë°èÀû ºÐ¼® ¹æ¹ýÀ¸·Î´Â ´Ù·ç±â ¾î·Æ°í, ½Ã°è¿ ºÐ¼® (Time Series Analysis) ¹æ¹ýÀ» »ç¿ëÇÕ´Ï´Ù. ¿À´ÃÀº Áö³ ½Ã°£¿¡ ÀÌ¾î¼ µö·¯´×À» È°¿ëÇÑ ±ÝÀ¶ ½Ã°è¿ ºÐ¼®¿¡ ´ëÇØ °£´ÜÇÏ°Ô ¾Ë¾Æº¸µµ·Ï ÇÏ°Ú½À´Ï´Ù.
¼øȯ ½Å°æ¸Á(Recurrent Neural Network : RNN) ±¸Á¶ ¡Ü ÀÔ·ÂÃþ -> Àº´ÐÃþ -> Ãâ·ÂÃþÀ¸·Î ¿¬°áµÈ ´Ü¹æÇ⠽Űæ¸ÁÀº Feed Forward Network(FNN)À̶ó ÇÕ´Ï´Ù. ¡Ü ÀÌÀü ½ºÅÜÀÇ Ãâ·Â°ªÀÌ ´Ù½Ã ¿¬°áµÇ´Â ½Å°æ¸ÁÀº ¼øȯ ½Å°æ¸Á(RNN)À̶ó ÇÕ´Ï´Ù. RNNÀº ½Ã°£ÀûÀ¸·Î ¼ø¼¸¦ °®´Â ÀԷ°ªÀÇ ÀÚ±âÁ¾¼Ó ±¸Á¶¸¦ ºÐ¼®ÇÒ ¼ö ÀÖ½À´Ï´Ù. ¡Ü RNNÀº ½Ã°è¿ µ¥ÀÌÅÍ, ÀÚ¿¬¾ð¾î ó¸® µî¿¡ ÀÌ¿ëÇÒ ¼ö ÀÖ½À´Ï´Ù. RBBÀÇ ¿À·ù ¿ªÀüÆÄ (Backpropagation through time : BPTT) ¡Ü RNNÀº FNN°ú ´Þ¸® °¢ ½ºÅÜ(t)¸¶´Ù ¿À·ù¸¦ ÃøÁ¤ÇÏ¿© ÀÌÀü ½ºÅÜÀ¸·Î ÀüÆÄÇÕ´Ï´Ù. ÀÌ°ÍÀ» BPTT¶ó°í ÇÕ´Ï´Ù. ¡Ü °¢ ½ºÅܸ¶´Ù Ãâ·Â°ª(Yt)°ú ½ÇÁ¦ Ãâ·Â°ª(hatYt)À¸·Î error(mean square error)¸¦ ÃøÁ¤ÇÒ ¼ö ÀÖÀ¸¹Ç·Î, ÀÌ error¸¦ ÀÌ¿ëÇÏ¿© Wx, Wk, Wy¿Í bias¸¦ ¾÷µ¥ÀÌÆ®ÇÒ ¼ö ÀÖ½À´Ï´Ù. Wx, Wk, Wy¿Í bias´Â ¸Å ½ºÅܺ°·Î Á¸ÀçÇÏ´Â °ÍÀÌ ¾Æ´Ï¶ó °øÅë ÆĶó¹ÌÅÍÀÔ´Ï´Ù. ¡Ü BPTT´Â (¿ÞÂÊÀ¸·Î) error°¡ ¸Ö¸® ÀüÆÄµÉ ¶§ °è»ê·®ÀÌ ¸¹¾ÆÁö°í ÀüÆĵǴ ¾çÀÌ Á¡Â÷ Àû¾îÁö´Â ¹®Á¦Á¡(Vanishing gradients)ÀÌ ¹ß»ýÇÕ´Ï´Ù. ¡Ü Vanishing gradients ¹®Á¦¸¦ º¸¿ÏÇϱâ À§ÇØ error¸¦ ¸î ½ºÅܱîÁö¸¸ ÀüÆĽÃÅ°´Â Truncated BPTT¸¦ »ç¿ëÇÒ ¼öµµ ÀÖ°í, ±Ùº»ÀûÀ¸·Î´Â LSTMÀ» »ç¿ëÇÕ´Ï´Ù. ¼øȯ ½Å°æ¸Á (Long Short-Term Memory : LSTM) ¡Ü LSTMÀº RNNÀÇ vanishing gradients ¹®Á¦¸¦ ÇØ°áÇϱâ À§ÇØ °í¾ÈµÇ¾ú½À´Ï´Ù. ¡Ü LSTMÀº ±âÁ¸ RNN¿¡ cell state (C)¸¦ Ãß°¡ÇÏ¿© ¸Õ °ú°ÅÀÇ µ¥ÀÌÅ͸¦ ¾ó¸¶³ª ¹Ý¿µ(±â¾ï)ÇÒ °ÍÀÎÁö Á¦¾îÇÒ ¼ö ÀÖ½À´Ï´Ù. ¡Ü ±âÁ¸ RNNÀÇ Àº´ÐÃþ ´º·±À» LSTM blockÀ¸·Î ´ëüÇÏ°í, °¢ LSTM blockÀº ±âÁ¸ÀÇ h¿¡ C°¡ Ãß°¡µÈ ÀÛÀº networkÀÔ´Ï´Ù. ¡Ü ¾Æ·¡ ¿¹½Ã´Â ÀÔ·ÂÃþ ´º·± 2°³, Àº´ÐÃþ(LSTMÃþ) 1°³¿¡ 2°³ ´º·±(Block), Ãâ·ÂÃþ ´º·± 1°³·Î ±¸¼ºµÈ ¿¹½ÃÀÔ´Ï´Ù. ¼øȯ ½Å°æ¸ÁÀÇ ÇнÀ À¯Çü ¡Ü Classification ¸ñÀûÀ» À§Çؼ´Â many-to-one À¯ÇüÀ» »ç¿ëÇÒ ¼ö ÀÖ°í, ½Ã°è¿ ºÐ¼®Àº many-to-oneÀ̳ª many-to-many À¯ÇüÀ» »ç¿ëÇÒ ¼ö ÀÖ½À´Ï´Ù. ¡Ü Âü°í·Î À̹ÌÁö¸¦ ¸»·Î ¼³¸íÇÏ´Â image captioning ±â´ÉÀº one-to-many À¯ÇüÀ¸·Î ÇнÀÇÒ ¼ö ÀÖ°í (CNNÀ¸·Î À̹ÌÁö¸¦ ÀνÄÇÏ°í RNNÀ¸·Î ¹®ÀåÀ» »ý¼ºÇÔ), ÀÚµ¿ ¹ø¿ª±â(machine translation)´Â many-to-many À¯ÇüÀ¸·Î ÇнÀÇÒ ¼ö ÀÖ½À´Ï´Ù.
|
|
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||