Data Mining and Business Intelligence Tools

Data Mining & Business Intelligence: Practical ToolsMotaz K. Saadmsaad@iugaza.eduDept. of CS – College of ITOct. 2007Outline• Why Data Mining?• What is Data Mining?• Data Mining Tools– Open Source Tools: WEKA, Rapid Miner– Non‐Open Source Tools: SPSS, MS SQL 2005 Analytics Service (SSAS), Oracle Data Miner (ODM)2Why Data Mining?!• The Explosive Growth of Data (from gigabytes to terabytes). The explosion of data caused by:• Automated data collection tools, database systems, Web, computerized society.• Abundant data available from various sources:– Business: Web, e‐commerce, transactions, stocks … – Science: Remote sensing, bioinformatics, scientific simulation … – Society and everyone: news, digital cameras …   • From the previous discussion we conclude that:• “We are drowning in data, but starving for knowledge!”• “Necessity is the mother of invention” Data mining is: Automated analysis of massive data sets. 3What is Data Mining?• Data mining (knowledge discovery from data) is Extraction of interesting (non‐trivial, implicit, previously unknown and potentially useful) patterns or knowledge from huge amount of data. • Alternative names for Data Mining: Knowledge discovery (mining) in databases (KDD), knowledge extraction, data/pattern analysis, data archeology, data dredging, information harvesting, business intelligence, etc. 4Data Mining Functionality (Tasks)5Data Mining Functionality (Tasks)• Classification maps data into predefined groups or classes: Supervised learning, Pattern recognition, Prediction• Clustering groups similar data together into clusters: Unsupervised learning, Segmentation, Partitioning6Data Mining Functionality (Tasks)• Link Analysis uncovers relationships among data: Association Rules, Sequential Analysis determines sequential patterns.• Outlier analysis– Outlier: Data object that does not comply with the general behavior of the data– Noise or exception? Useful in fraud detection, rare events analysis7Why Data Mining?—Potential Applications• Data analysis and decision support– Market analysis and management• Target marketing, customer relationship management (CRM),  market basket analysis, cross selling, market segmentation– Risk analysis and management• Forecasting, customer retention, improved underwriting, quality control, competitive analysis– Fraud detection and detection of unusual patterns (outliers)8Why Data Mining?—Potential Applications• Other Applications–Text mining (news group, email, documents) and Web mining–Bioinformatics and bio‐data analysis9Example 1: Market Analysis and Management• Where does the data come from?—Credit card transactions, loyalty cards, discount coupons, customer complaint calls, plus (public) lifestyle studies• Target marketing– Find clusters of “model” customers who share the same characteristics: interest, income level, spending habits, etc., – Determine customer purchasing patterns over time10Document Outline

• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ
• ÿ