ডাটা মাইনিংয়ের যত রহস্য………।।KDD কি?

ডাটা মাইনিং কি?

ডাটাবেজ, পরিসংখ্যান, মেশিন ল্যানিং এবং কৃত্রিম বুদ্ধিমত্তার প্রয়োগ করে বিপুল পরিমাণ ডেটা থেকে নতুন প্যাটার্ন ,জ্ঞান (Knowledge) আবিষ্কারের কাজটি করা হয় ডেটা মাইনিংয়ের মাধ্যমে যা KDD(Knowledge Discovery in Database) নামে ও পরিচিত। জনপ্রিয় গুগল স্ট্রিট ভিউ, ভিজ্যুয়ালাইজেশন, মেডিক্যাল ইমেজ প্রসেসিং[এক্স রে ইমেজ, ক্যান্সার ইমেজ, পার্কিনসন ডিজিজ ইত্যাদি], ফেসিয়াল রেকগনিশন সফটওয়্যার এর মাধ্যমে চেহারা নির্ণয়, ফাইন্যান্স, রিট্যাইল ইন্ডাস্ট্রি এক কথায় বর্তমানে জ্ঞান-বিজ্ঞানের প্রায় প্রতিটি ক্ষেত্রে এ প্রযুক্তিটি যেন জয় জইয়কার।

ডাটা মাইনিং শিখতে কি কোডিং জানার দরকার আছে?

ডাটা মাইনিং এর জন্য একদিকে যেমন পাইথন/আর এর মত কোডিং টুলস আছে তেমনে আছে অসংখ্য ড্রাগ এন্ড ড্রপ টুলস যেখানে কোডিং নলেজ ছাড়াই আপনি হতে পারেন দক্ষ ডাটা মাইনিং স্পেশালিস্ট।

ডাটা মাইনিং প্রসেস………

ডাটা মাইনিং প্রসেস কে ৪ ভাগে ভাগ করা যায়।।।। প্রথমত, ডাটা সিলেকশান/গেদারিং ডাটা করা, এরপর ওই ডেটাকে প্রিপসেস করা(মিসিং ভ্যালু, ডাটা কোয়ালিটি চ্যাক, আউটলেয়ার, ডুপ্লিকেট ভ্যালু ইত্যাদি)। অনেকের মতে ডেটা প্রসেস/ক্লিনিং এ ডেটা মাইনিং স্পেশালিস্ট রা টোটাল কাজের ৭০% সময় কাজ করে। তারপর বিভিন্ন ডাটা মাইনিং টেকনিক/ আলগোরিদম/ভিসুয়ালাইজেশন ইত্যাদি আপ্লাই করা এবং ফাইনালি ডাটা এনালাইসিস/ইন্টারপ্রেট করার মাধ্যমে নলেজ, বিজিন্যাস আউটকাম বের করে তা রিপ্রেজেন্ট করা।

ডাটা মাইনিংয়ের 10 KEY টেকনিক গুলো কি কি?

ক্লাসিফিকেশন(Decision Tree, KNN, SVM, Fuzzy, Genetic Algorithm etc.)

ক্লাস্টারিং(K means, K medoids, DBSCAN, Grid, Hierarchical Cluster etc.)

রিগ্রেশন( Logistic, Simple, Multiple and Polynomial Regression)

আসোসিয়েশন রুল মাইনিং (Apriori, Eclat, FP- Growth etc.)

আউটলেয়ার ডিটেক্শান(Density, Deviation, Distriution,Distance Based)

প্যাটান মাইনিং ( Multilevel, Value based, Rule Based, Dimension Based)

প্রিডেকশান মডেলিং

ডাটা প্রিপসেসিং(Cleaning, Integration, Transformation, Reduction etc.)

ডাটা ভিসুয়ালাইজেশন( Pixel Chart, Icon Based Method, Bar chart etc.)

নিউরাল নেটওয়ার্ক(MLP,ANN,LSTM, DNN, CNN etc.)

ডাটা মাইনিংয়ের জন্য জনপ্রিয় কিছু টুলস……

1. MonkeyLearn ।।টেক্সট মাইনিং টুল(নো কোড)
2. RapidMiner | ড্রাগ এন্ড ড্রপ ডাটা মাইনিং টুল/পাইথন
3. Oracle Data Mining | প্রেডিক্টিভ ডাটা মাইনিং টুল
4. IBM SPSS Modeler | এনালেটিক্স ডাটা মাইনিং টুল
5. Weka | ওপেন সোর্স ডাটা মাইনিং টুল
6. Knime | প্রি বিল্ট ডাটা মাইনিং টুল
7. R| ওপেন সোর্স ডাটা মাইনিং টুল(Rstudio)
8. Orange | ওপেন সোর্স ডাটা মাইনিং টুলবক্স
9. Apache Mahout | জটিল এন্ড বড় ডেটার জন্যমাইনিং টুল
10. SAS Enterprise Miner | বিজিনেস ডাটা মাইনিং টুল

ডেটা মাইনিং ক্যারিয়ার কেমন?

ডেটা মাইনিংয়ে দক্ষ ব্যক্তিদের জন্য কর্মসংস্থানের সুযোগ বাড়ছে। ইউএস ব্যুরো অফ লেবার স্ট্যাটিস্টিকস অনুসারে, কম্পিউটার এবং তথ্য প্রযুক্তিতে ডেটা মাইনিংয়ের চাকরি 2029 সালের মধ্যে 11 শতাংশ বৃদ্ধি পাবে বলে অনুমান করা হয়েছে। বড় ডেটা, ডাটাবেস এডমিনেস্ট্রেশন এবং তথ্য সুরক্ষা ডেটা মাইনিং পদ্ধতির উপর নির্ভরশীল হয়ে যাবে।

নিচে ডেটা মাইনিংয়ের কিছু শীর্ষ পদ দেয়া হলঃ

Database Administrator

Computer and Information Scientist

Market Research Analyst

Computer Network Architect

Information Security Analyst

শুভ হোক আপনার ডেটা মাইনিং এর যাত্রা…………