[데이터마이닝]하이브리드 데이터마이닝 시스템(Hybrid Data Mining Systems)

소개글

2가지 이상의 데이터마이닝 기술을 결합한 데이터마이닝 시스템을 하이브리드 데이터마이닝 시스템이라고 한다.

목차

1.1 하이브리드 시스템의 분류
1.2 인공신경망을 이용한 Symbolic 프로세싱

본문내용

데이터마이닝에 특정 작업에 적용하는 기법이 정해진 것은 아니고 하나의 기법만으로는 모든 문제를 해결할 수 있는 것도 아니다. 데이터마이닝 기법의 선택은 데이터마이닝이 수행하는 작업과 목적, 분석에 이용되는 데이터의 특성, 발견된 패턴의 설명력, 사용의 용이성 등에 따라 달라질 수 있다. 그러나 몇 개의 데이터마이닝 시스템을 결합함으로 개별 시스템이 가지는 한계를 극복할 수 있는데 이를 하이브리드 시스템이라고 한다.

1.1 하이브리드 시스템의 분류
하이브리드 시스템은 오래 전부터 인공지능 분야에서 연구되어 왔고 Goonatilake et al은 하이브리드 시스템을 기능 대체 시스템(Function Replacing Systems), 상호 통신 시스템(Inter Communication Systems), 다형 시스템(Polymorphic Systems) 등 세가지 유형으로 분류하였다[GK95].
기능 대체 시스템은 한 기법의 단점을 그 단점에 강한 다른 기법을 이용함으로 극복하려는 시스템이다. 예를 들어 퍼지 시스템(Fuzzy System)은 학습력이 약한데 이를 하이브리드 뉴로-퍼지 시스템(Hybrid Neuro-Fuzzy System)을 이용해 극복할 수 있다.
상호 통신 시스템은 하위 작업의 복합성으로 인한 복잡성 때문에 하나의 기법만으로 문제를 해결할 수 없는 경우에 사용된다.
다형 시스템은 하나의 아키텍처 안의 다중 정보 프로세싱 능력을 표현하기 위해 개선시킨 시스템으로 Symbolic 프로세싱에 신경망을 이용하는 방법이 이에 속한다.
하이브리드 데이터마이닝 시스템은 목적의 복합성 설명, 기존 시스템의 기능 강화, 수행능력 개선, Robustness 증가, 바이어스 감소 등에 이용될 수 있다. 그러나 지금까지의 분류는 기능 대체 시스템과 다형 시스템 사이의 구분이 모호하다.
Anand et al은 데이터마이닝을 위한 하이브리드 시스템을 Loosely-coupled 시스템과 Tightly-coupled 시스템으로 분류하였다[AH98].
Loosely-coupled 시스템은 적용 작업의 복합성으로 인한 문제의 복잡성 해결을 위해 필요하거나 작업의 수행 능력을 개선하기 위해 필요한 다수의 기법으로 구성된다. 데이터마이닝 과정이 서로 다른 두 개 이상의 작업을 필요로 할 경우 Loosely-coupled 시스템의 요소는 이러한 작업을 병렬적, 혹은 순차적으로 수행한다. Loosely-coupled 시스템은 Goonatilake et al의 상호 통신 시스템과 동일하다.

참고 자료

[김양욱98] 김양욱 편, “업무혁신을 위한 ERP”, 21세기북스, 1998.
[김영만98] 김영만, “통신서비스 시장에서 데이터마이닝을 이용한 이탈고객 분석”, 한국과학기술원 석사논문, 1998.
[노형진99] “다변량 데이터의 통계분석”, 석정, 1999.
[민재형00] 민재형, 이영찬, “자기조직화 신경망을 이용한 경쟁적 벤치마킹”, 한국지능정보시스템학회 2000년 가을 학술대회, 2000.
[박종수98] 박종수, “연관 규칙 탐사 알고리즘에 대한 조사”, 6월, 1998.
[전수경99] 전수경, “숨어있는 정보를 찾아라-데이터마이닝 기지개”, 경영과 컴퓨터, 11월, 1999.
[송희경99] 송희경, “지식경영 시각으로 조명하는 신 패러다임-지식관리시스템”, 마이크로소프트웨어, 8월, 1999.
[유영만98] 유영만, “지식경영과 지식관리시스템”, 한언, 1999.
[이창목99] 이창복, 이수용, 이일병, “인공신경망을 이용한 한국종합주가지수 주별 예측에 관한 연구”, 한국경영과학회/대한산업공학회 99년 춘계공동학술대회, 1999.
[장남식99] 장남식, 홍성완, 장재호, “데이터마이닝”, 대청, 1999.
[조재희99] 조재희, 박성진, “OLAP 테크놀로지”, 시그마컨설팅, 1999
[최종후99] 최종후, 한상태, 김은석, 강현철, “클레멘타인을 이용한 보험회사 이탈고객 관리분석”, SPSS 사용자 사례 발표회, 1999.
[허명회99] 허명회, “사회과학을 위한 다변량자료분석”, 자유아카데미, 1999.
[ABH95] S. Anand, D. Bell, J. Hughes, “The Role of Domain Knowledge in Data Mining”, CIKM 95, 1995.
[AH98] S. Anand, J. Hughes, “Hybrid Data Mining Systems: The Next Generation”, PAKDD ‘98, Melbourne, Australia, 1998, pp. 13-24.
[AIS93] R. Agrawal, T. Imielinsk, A. Swami, “Mining Association Rules between Sets of Items in Large Databases”, In Proceedings of the ACM SIGMOD Conference on Management of Data, Washington D.C., May, 1993, pp. 207-216.
[APWZ95] R. Agrawal, G. Psaila, E. Wimmers, M. Zait, “Querying Shapes of Histories”, In Proceedings of the 21st International Conference on Very Large Databases, 1995.
[AS94] R. Agrawal, R. Srikant, “Fast Algorithms for Mining Association Rules”, In Proceedings of the VLDB Conference, Santiago, Chile, September, 1994.
[AS95] R. Agrawal, R. Srikant, “Mining Sequential Patterns”, In Proceedings of the 20th International Conference on Data Engineering, Taipei, Taiwan, March, 1995.
[AZ96] P. Adriaans, D. Zantinge, “Data Mining”, Addison Wesley Longman, England, 1996.
[Bigus96] J. Bigus, “Data Mining with Neural Network: Solving Business Problems from Application Development to Decision Support”, McGraw-Hill, 1996.
[BL97] J. Berry, G. Linoff, “Data Mining Techniques: For Marketing, Sales, and Customer Support”, John Wiley & Sons, 1997.
[BL99] J. Borges, M. Levene, “Data Mining of User Navigation Patterns”, In Proceedings of the Workshop on Web Usage Analysis and User Profiling (WEBKDD`99), San Diego, CA. August, 1999.
[BM98] A. Bucher, D. Mulvenna, “Discovering Internet Marketing Intelligence through Online Analytical Web Usage Mining”, SIGMOD Record, 27(4), 1998.
[BST99] A. Berson, S. Smith, K. Thearling, “Building Data Mining Applications for CRM”, McGraw-Hill, 1999.
[CMS99] R. Cooley, B. Mobasher, J. Srivastava, “Data Preparation for Mining World Wide Web Browsing Patterns”, Journal of KAIS, 1(1), 1999.
[CS98] C. Clifton, R. Steinheiser, “Data Mining on Text”, Computer Software and Applications Conference, 1998, pp. 630 –635.
[DGS99] J. Dörre, P. Gerstl, R. Seiffert, “Text Mining: Finding Nuggets in Mountains of Textual Data”, In Proceedings of the 5th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1999, pp. 398–401.
[Dixon97] M. Dixon, “An Overview of Document Mining Technology”, 1997.
[FD95] R. Feldman, I. Dagan, “KDT-Knowledge Discovery in Texts”, In Proceedings of the 1st International Conference on Knowledge Discovery, 1995.
[FLYH99] L. Feng, H. Lu, J. X. Yu, J. Han, “Mining Inter-Transaction Association Rules with Templates”, CIKM’99, 1999.
[FMMT96] T. Fukuda, Y. Morimoto, S. Morishita, T. Tokuyama, “Mining Optimized Association Rules for Numeric Attributes”, ACM PODS ’96, 1996, pp. 182-191.
[FPSU96] U. Fayyad, G. Piatetsky-Shapito, P. Smyth, R. Uthurusamy, “From Data Mining to Knowledge Discovery: An Overview”, Advance in Knowledge Discovery and Data Mining, AAAI/MIT Press, CA, 1996.
[Friedman97] J. Friedman, “Data Mining and Statistics: What’s the Connection?”, In Proceedings the 29th Symposium on the Interface: Computing Science and Statistics, 1997.
[FSWS97] Famili, A.W Shen, R. Weber, E. Simoudis, “Data Preprocessing and Intelligent Data Analysis”, Intelligent Data Analysis 1, January, 1997.
[GK95] S. Goonatilake, S. Khebbal, “Intelligent Hybrid System”, John Wiley & Sons, 1995.
[GRSS99] M. N. Garofalakis, R. Rastogi, S. Seshadri, K. Shim, “Data Mining and the Web: Past, Present and Future”, In Proceedings of the 2nd International Workshop on Web Information and Data Management, 1999, pp. 43-47.
[GSKB99] N. Good, J. Schafer, J. Konstan, A. Borchers, B. Sarwar, J. Herlocker, J. Riedl, “Combining Collaborative Filtering with Personal Agents for Better Recommendations”, In Proceedings of the 16th National Conference on AAAI and 11th Conference on IAAI, Orlando, Florida, USA , July, 1999.
[Han99] J. Han, “Data Mining”, Encyclopedia of Distributed Computing, Kluwer Academic Publishers, 1999.
[HE99] E. Hruschka, N. Ebecken, “Rule Extraction from Neural Networks: Modified RX Algorithm”, Combinations of Evolutionary Computation and Neural Networks, 2000 IEEE Symposium on, 2000, pp. 199–206.
[HF99] J. Han, Y. Fu, “Mining Multiple-Level Association Rules in Large Databases”, IEEE Transactions on Knowledge and Data Mining, Vol. 11, No. 5, September, 1999.
[HPY00] J. Han, J. Pei, Y. Yin, “Mining Frequent Patterns without Candidate Generation”, In Proceedings 2000 ACM-SIGMOD International Conference Management of Data(SIGMOD’00), Dallas, Texas, May, 2000.
[ILG01] C. Imhoff, L. Loftis, J. Geiger, “Building the Customer-Centric Enterprise”, John Wiley & Sons, 2001.
[KB00] R. Kosala, H. Blockeel, “Web Mining Research: A Survey”, ACM SIGKDD, July, 2000.
[LAS97] B. Lent, R. Agrawal, R. Srikant, “Discovering Trends in Text Databases”, In Proceedings of the 3rd International Conference on Knowledge Discovery in Databases and Data Mining, Newport Beach, California, August, 1997.
[LHF98] H. Lu, J. Han, L. Feng, “Stock Movement and N-Dimensional Inter-Transaction Association Rules”, In Proceedings of 1998 SIGMOD ’96 Workshop on Research Issues on Data Mining and Knowledge Discovery, Seattle, Washington, June, 1998, pp. 12:1-12:7.
[LSL95] H. Lu, R. Setiono, H. Liu, “NeuroRule: A Connectionist Approach to Data Mining”, In Proceedings of the 21st VLDB Conference, Zürich, Switzerland, 1995.
[LSL96] H. Lu, R. Setiono, H. Liu, “Effective Data Mining Using Neural Networks”, Knowledge and Data Engineering, IEEE Transactions on, Vol. 8, Issue 6, December, 1996.
[LT95] H. Liu, S. Tan, “X2R: A Fast Rule Generator”, In Proceedings of IEEE International Conference on Systems, Man and Cybernetics, Vancouver, Canada, Oct., 1995.
[LY99] C. H. Lee, H. C. Yang, “A Web Text Mining Approach Base on Self-Organizing Map”, In Proceedings of the 2nd International Workshop on Web Information and Data Management, WIDM`99, Kansas City, MO, USA, 1999, 59-62.
[MAB00] M. Mulvenna, S. Anand, A. Büchner, “Personalization on the Net using Web Mining”, Communications of the ACM, Vol. 43, No. 8, August, 2000.
[MCS99] B. Mobasher, R. Cooley, J. Srivastava “Automatic Personalization Based on Web Usage Mining”, http://maya.cs.depaul.edu/~mobasher/personaliza tion/, 1999.
[MCS00] B. Mobasher, R. Cooley, J. Srivastava “Automatic Personalization Based on Web Usage Mining”, Communications of the ACM, Vol. 43, No. 8, August, 2000.
[Mena99] J. Mena, “Data Mining Your Website”, Butterworth-Heinemann, 1999.
[MT96] D. Merkl, A. Tjoa, “Data Mining in Large Free Text Document Archieves”, In Proceedings of the International Symposium on Cooperative Database Systems for Advanced Applications, Kyoto, Japan, December, 1996.
[MWGJK00] M. Mozer, R. Wolniewicz, D. Grimes, E. Johnson, H. Kaushansky, “Predicting Subscriber Dissatisfaction and Improving Retention in the Wireless Telecommunications Industry”, IEEE Transactions on Neural Networks, Vol. 11, No. 3, May, 2000.
[PB99] M. Pazzani, D. Billsus, “Evaluating Adaptive Web site Agents”, Workshop on Recommender Systems Algorithms and Evaluation, 22nd International Conference on Research and Development in Information Retrieval, 1999.
[PCY95] J. S. Park, M. Chen, P. Yu, “An Effective Hash-Based Algorithm for Mining Association Rules”, In Proceedings of ACM SIGMOD Conference on Management of Data, San Jose, California, May, 1995, pp. 175-186.
[PE00] M. Perkowitz, O. Etzioni, “Adaptive Web Site”, Communications of the ACM, Vol. 43, No. 8, August, 2000.
[Perko97] M. Perkowitz, “Adaptive Web Sites: An AI Challenge”, In Proceedings of IJCAI 97, 1997.
[PHBZ00] J. Pei, J. Han, B. Mortazavi-Asl, H. Zhu, “Mining Access Pattern efficiently from Web logs”, In Proceedings 2000 Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD`00), Kyoto, Japan, April, 2000.
[RS99] R. Rastogi, K. S. Shim, “Mining Optimized Support Rules for Numeric Attributes”, In the 15th International Conference on IEEE Data Engineering, Sydney, Australia, 1999.
[SA95] R. Srikant, R. Agrawal, “Mining Generalized Association Rules”, In Proceedings of the 21st International Conference on VLDB, Zurich, Switzerland, September, 1995.
[SA96a] R. Srikant, R. Agrawal, “Mining Quantitative Association Rules in Large Relational Tables”, In Proceedings of the ACM-SIGMOD 1996 Conference on Management of Data, Montreal, Canada, June, 1996
[SA96b] R. Srikant, R. Agrawal, “Mining Sequential Patterns: Generalizations and Performance Improvements”, In Proceedings of the 5th International Conference on Extending Database Technology, Avignon, France, March, 1996.
[SCDT00] J. Srivastava, R. Cooley, M. Deshpande, P. Tan, “Web Usage Mining: Discovery and Application of Usage Patterns from Web Data”, ACM SIGKDD, January, 2000.
[SFW99] M. Spiliopoulou, L. C. Faulstich, K. Winkler. “A Data Miner analyzing the Navigational Behavior of Web Users”, In Proceedings of the Workshop on Machine Learning in User Modeling of the ACAI`99, Creta, Greece, July, 1999.
[SKS98] S. Schechter, M. Krishnan, M. Smith, “Using Path Profiles to Predict HTTP Request”, WWW7 / Computer Networks 30(1-7), 1998, pp.457-467.
[SL99] R. Setiono, W. Leow, “On Mapping Decision Trees and Neural Nerworks”, Knowledge Based Systems, Vol. 12, No. 3, 1999.
[SON95] A. Savasere, E. Omiecinsk, S. Navathe, “An Efficient Algorithm for Mining Association Rules in Large Databases”, VLDB, 1995, pp. 432-444.
[SPF99] M. Spiliopoulou, C. Pohle, L. Faulstich, “Improving the Effectiveness of a Web Site with Web Usage Mining”, In Proceedings of KDD Workshop WEBKDD`99, San Diego, CA, August, 1999.
[Spil00] M. Spiliopoulou, “Web Usage Mining for Web Site Evaluation”, Communications of the ACM, Vol. 43, No. 8, August, 2000.
[SYKP00] C. Shin, U. Yun, H. Kim, S. Park, “A Hybrid Approach of Neural Network and Memory-Based Learning to Data Mining”, IEEE Transactions on Neural Networks, Vol. 11, No.3, May, 2000.
[Tam98] Y. J. Tam, “Datacube: Its Implementation and Application in OLAP Mining”, Simon Fraser University, 1998.
[VNR96] M. Viveros, J. Nearhos, M. Rothman, “Applying Data Mining Techniques to a Health Insurance Information System”, In Proceedings of the 22nd VLDB Conference, Mumbay, India, 1996.
[WB98] C. Westphal, T. Blaxton, “Data Mining Solutions: Methods and Tools for Solving Real-World Problems”, John Wiley & Sons, 1998.
[Wright98] P. Wright, “Knowledge Discovery Preprocessing: Determining Record Usability”, In Proceedings of the 36th Annual Conference on Southeast Regional Conference, 1998.
[YJG97] T. Yan, M. Jacobsen, H. Garcia-Molina, “From User Access Patterns to Dynamic Hypertext Linking”, Journal reference: Computer Networks and ISDN Systems, Volume 28, 1997.
[Zaki98] M. J. Zaki, “Efficient Enumeration of Frequent Sequences”, 7th International Conference on Information and Knowledge Management, Washington DC, November, 1998.
[Zhu98] H. Zhu, “On-Line Analytical Mining of Association Rules”, Simon Fraser University, 1998.
[ZXH98] O. R. Zaïane, M. Xin, J. Han, “Discovering Web Access Patterns and Trends by Applying OLAP and Data Mining Technology on Web Logs”, In Proceedings Advances in Digital Libraries Conference (ADL`98), Santa Barbara, CA, April 1998.