Àü ¼¼°è ÀïÀïÇÑ ±Û·Î¹ú±â¾÷µéÀÌ °æÀïÇÏ´Â ¡®¿ÀÇ LLM ¸®´õº¸µå¡¯¿¡¼ ¹Ìµð¾î±×·ì»ç¶÷°ú½£(ÀÌÇÏ »ç¶÷°ú½£)°ú ¸¶Ä¿ »ç°¡ °øµ¿ °³¹ßÇÑ ¸ðµ¨ÀÌ Æò±Õ 74.4Á¡À» ȹµæÇϸç ÃÖ°í¼º´ÉÀ¸·Î 1À§¸¦ Â÷ÁöÇß´Ù.
¡®¿ÀÇ LLM ¸®´õº¸µå¡¯¿¡¼ 1À§¸¦ Â÷ÁöÇÑ »ç¶÷°ú½£ÀÇ ¡®Sakura-SOLAR-Instruct¡¯ ¸ðµ¨Àº ¡®SOLAR-10.7b-Instruct-v1.0¡¯°ú ¡®SauerkrautLM-SOLAR-Instruct¡¯ µÎ °¡Áö SOLAR ±â¹Ý ¸ðµ¨À» Merge(Slerp)ÇÏ°í DPO¸¦ Àû¿ë, ÆÄÀÎÆ©´×ÇØ °³¹ßµÈ ¸ðµ¨ÀÌ´Ù.
»ç¶÷°ú½£Àº ¡®¿ÀÇ Ko-LLM ¸®´õº¸µå¡¯ °³ÃÖ ÀÌÈÄ ´ëºÎºÐÀÇ ±â°£ µ¿¾È 1À§¸¦ ¼®±ÇÇß´ø Çѱ¹Çü LLM ¸ðµ¨ÀÇ ¿¬±¸°³¹ß °æ·ÂÀÌ Å« µµ¿òÀÌ µÆÀ¸¸ç, ƯÈ÷ µÎ ¸ðµ¨ °£ÀÇ ´ë´ä ºÐÆ÷µµ¸¦ ºñ±³ÇØ »ç¿ëÀÚ°¡ ¿øÇÏ´Â ´ë´äÀ¸·Î ºÐÆ÷¸¦ ¸ÂÃß´Â DPO(directly preference optmization)¿¡ °ü·ÃÇÑ ³ëÇÏ¿ì°¡ ¿øµ¿·ÂÀÌ µÅ ¡®¿ÀÇ LLM ¸®´õº¸µå 1À§¡¯¶ó´Â °ªÁø ¼º°ú¸¦ ³º¾Ò´Ù°í ¹àÇû´Ù.
Çã±ëÆäÀ̽ºÀÇ ¡®¿ÀÇ LLM ¸®´õº¸µå¡¯´Â Àü ¼¼°è ¼ö¹é°³ÀÇ ¿ÀǼҽº ¸ðµ¨µéÀÌ Ã߷аú »ó½Ä´É·Â, ¾ð¾î ÀÌÇØ Á¾ÇÕ´É·Â ¹× ȯ°¢Çö»ó ¹æÁö µî ¿©·¯ ÁöÇ¥ÀÇ Æò±ÕÁ¡¼ö·Î Æò°¡ÇØ ¼øÀ§¸¦ ¸Å±ä´Ù. ¡®Sakura-SOLAR-Instruct¡¯ ¸ðµ¨ÀÌ È¹µæÇÑ Á¡¼ö´Â 74.4Á¡À¸·Î, ÀÌ´Â OpenAI°¡ °³¹ßÇÑ ÃªGPTÀÇ ±â¹ÝÀÌ µÇ´Â GPT-3.5ÀÇ º¥Ä¡¸¶Å© Æò°¡Á¡¼ö 71.9Á¡À» Èǽ ¶Ù¾î³Ñ´Â Á¡¼ö´Ù.
»ç¶÷°ú½£Àº Çѱ¹Á¤º¸ÈÁøÈï¿ø(NIA)°ú ¾÷½ºÅ×ÀÌÁö°¡ ÁÖ°üÇÏ´Â ¡®¿ÀÇ Ko-LLM ¸®´õº¸µå¡¯¿¡¼ ¿ÃÇØ 9¿ù ¸®´õº¸µå ¿ÀÇ ½ÃºÎÅÍ 12¿ù±îÁö ´ëºÎºÐÀÇ ±â°£ 1À§¸¦ À¯ÁöÇß´ø ±â¾÷À¸·Î, ±×°£ÀÇ ¿¬±¸ ³ëÇϿ츦 ¹ÙÅÁÀ¸·Î ±Û·Î¹ú LLM ±â¼ú ¼±µµ±â¾÷À¸·Î ¼ºÀåÇÏ°í ÀÖ´Ù.
ÇÑÀ±±â »ç¶÷°ú½£ ´ëÇ¥´Â ¡°¸ÕÀú ±¹³» 1À§¿¡¼ ¼¼°è 1À§±îÁö À̾îÁø LLM °³¹ß ¿©Á¤¿¡ ¹ã³·À¸·Î °í»ýÇÑ °³¹ßÀڵ鿡°Ô ÀÌ ¿µ±¤À» µ¹¸°´Ù¡±¸ç ¡°»çȸÀû °¡Ä¡ ½ÇÇö¿¡ ±â¾÷ÀÌ ¾ÕÀå¼¾ß ÇÑ´Ù°í »ý°¢ÇÑ´Ù. AI¿Í °°Àº °¡Àå ¾Õ¼± ±â¼úÀÇ ¼öÇý°¡ »çȸÀû ¾àÀÚ¿¡°Ô µ¹¾Æ°¡´Â ±¸Á¶°¡ ¸¸µé¾îÁ® »çȸÀû ¾àÀÚ°¡ ±â¼ú °³¹ß¿¡ Àû±ØÀûÀ¸·Î Âü¿©ÇÏ°í, ±× ¿¸Å¸¦ ´Ù½Ã »çȸÀû ¾àÀÚ¿¡°Ô µ¹·Á³õ´Â ¼±¼øȯ ±¸Á¶¸¦ ¸¸µé¾î µ¿¹Ý¼ºÀåÀÇ »õ·Î¿î ¹æÇâÀ» ¸¸µé°í ½Í´Ù¡±°í ¹àÇû´Ù.