• Home
  • প্রযুক্তি
  • “বিগ ডাটা” (Big Data) একটি নতুন টেকনোলজী একটি নতুন সম্ভাবনার দুয়ার
প্রযুক্তি

“বিগ ডাটা” (Big Data) একটি নতুন টেকনোলজী একটি নতুন সম্ভাবনার দুয়ার

ডাটা এবং বিগ ডাটা কি?

বর্তমান যুগে আমরা প্রতিনিয়ত ডাটা নিয়ে কাজ করি। অনেকগুলো তথ্য বা ডাটাকে নিয়ে গঠিত হয় তথ্য ভান্ডার। বা তথ্যের ব্যাবহার করে থাকি। ডাটা ছাড়া দৈনন্দিন জীবনে চলা অসম্ভব । এই ডাটা কমে না বরং শুধু বাড়তেই থাকে । ডাটা বলতে শুধু যেকোন লিখাকে বুঝি না বরং ডাটা হতে পারে ছবি, ভিডিও, এনিমেশন ইত্যাদি। ডাটা বড় হতে হতে তৈরী হয় বিগ ডাটা।

ডাটা কিভাবে তৈরী হয়?

ডাটা নানা রকমভাবে তৈরী হয়ে থাকে যেমন আমরা কম্পিউটারে যত কাজ করি এবং জমা করি সবই ডাটার সমষ্টি বা অনেক সময় বলা হয় তথ্য ভান্ডার। আমরা যে মোবাইল দিয়ে ছবি তুলি তা মোবাইলে স্টোর হয় এবং সেই ছবিও একটি ডাটা।

বিগ ডাটা কেন গুরুত্বপূর্ণ?

যখন আমরা মোবাইল দিয়ে কোন ভিডিও করি তখন আমাদের মোবাইলের স্টোরেজে একটি ভিডিও ফাইল তৈরী হয়ে কিছু জায়গা দখল করে। সেই ভিডিওটিও এক ধরনের ডাটা বা ইনফরমেশন। এভাবে অসংখ্য ডাটা বা ইনফরমেশন মোবাইলে, কম্পিউটারে বা ল্যাপটপে জায়গা দখল করতে করতে জায়গা শেষ হয়ে যায়। উধাহরন হিসাবে বলা যায়, আমরা যে কম্পিউটার কিনে থাকি সেই কম্পিউটারে প্রাথমিক অবস্থায় অনেক জায়গা থাকে কিন্তু সময়ের সাথে সাথে যখন আমরা প্রচুর ডাউনলোড করি গান, ভিডিও, সিনেbig-data-word-cloud.jpgমা, সফটওয়্যার ইত্যাদি তখন আমাদের কম্পিউটারের জায়গাও এক সময় শেষ হয়ে যায়। তখনই প্রয়োজন হয় আলাদা পেন ড্রাইভ, সিডি, ডিভিডি কপি ইত্যাদি।  আর যখন এই ডাটা আরো বিপুল পরিমানে হয় তখন কি করা যায় ? এই রকম একটি চিন্তাভাবনা থেকেই তৈরী হয় একটি নতুন টেকনোলজী কনসেপ্ট আর তা হলো বিগ ডাটা কনসেপ্ট। বিগডাটা হচ্ছে একটি টেকনোলজী এটা বিভিন্ন সফটওয়্যার দিয়ে চালানো যায়। আশ্চর্যের ব্যাপার আপনি শুধু সাধারন একটি ল্যাপটপ দিয়ে বাসায় বসেই বিগ ডাটার কাজ করতে পারবেন।

ডাটা তৈরীর রেট নিম্নরুপঃ

প্রতি ৬০ সেকেন্ডে টুইটারে ৯৮,০০০ জনের বেশী টুইট হয়;

প্রতি ৬০ সেকেন্ডে ফেসবুকে ৬৯৫,০০০ জনের বেশী স্টাটাস আপডেট হয়;

প্রতি ৬০ সেকেন্ডে ১১ মিলিয়ন মেসেজ পাঠানো হয়;

প্রতি ৬০ সেকেন্ডে ৬৯৮,৪৪৫ এর বেশী মানুষ গুগলে সার্চ করে;

প্রতি ৬০ সেকেন্ডে ১৬৮ মিলিয়ন বা তার বেশী ইমেইল পাঠানো হয়;

প্রতি ৬০ সেকেন্ডে ১,৮২০ টেরাবাইটস এর বেশী ডাটা তৈরী হয়।

ওয়ার্ল মার্ট প্রতি ৬০ মিনিটে ১ লক্ষ এর বেশী ডাটা আদান প্রদান করে এবং এই তথ্য এক বিশাল তথ্য ভান্ডারে জমা হয়।

বিগ ডাটা টেকনোলজীতে কোন ধরনের সফটওয়্যার ব্যাবহৃত হয়?

বিগ ডাটাতে যে সকল টেকনোলজী ব্যাবহার হয় তা হলো  “হাডুপ (Hadoop)” নামের এক ধরনের ওপেন সোর্স সফটওয়্যার এবং এটা একটা ডিসট্রিবিউটেড অ্যাপ্লিকেশন ফ্রেমওয়ার্ক যার বিপুল তথ্য প্রসেস করার ক্ষমতা আছে। “হাডুপ” কোন রিলেশনাল ডাটাবেজ না বরং এটা অফ লাইন বা ব্যাচ প্রসেসিং সিস্টেম। হাডুপ এর ইকো-সিস্টেম হলো এইচডিএফএস অর্থ্যাৎ হাডুপ ডিসট্রিবিউটেড ফাইল সিস্টেম এবং এর সাথে ব্যাবহার হয় ম্যাপ রেডুস সিস্টেম যা একটি ডিসট্রিবিউটেড ফ্রেমওয়ার্ক সিস্টেম যা প্যারালালি কাজ কে এগিয়ে নিয়ে যায়। হাডুপ সিস্টেম এর ব্যাবহারগুলো হলোঃ মার্কেটিং তথ্য বিশ্লেষণ, মেশিন লার্নিং, ইমেজ প্রসেসিং, এক্সএমএল মেসেজ প্রসেসিং, টেক্সট প্রসেসিং ইত্যাদি।

বর্তমানে হাডুপ এবং ম্যাপরিডিউস ছাড়াও আরো দ্রুত গতির সলুশন চলে এসেছে। সেই রকম একটি টেকনোলজী হলো স্পার্ক (Spark) যা এপাচির (Apache) একটি প্রজেক্ট।

স্পার্ক ফ্রেমওয়ার্কে Python এবং R নামের দুটি সফটওয়্যার দিয়েই কাজ করা যায়। এবং বর্তমানে এই দুইটি বিশ্বে খুব জনপ্রিয় এক ধরনের সফটওয়্যার।

স্পার্ক এর আর এপিআই হলো স্পার্কআর (SparkR) এবং পাইথন এপিআই হলো PySpark যেকোন একটি সফটওয়্যার দিয়ে আপনি কাজ করতে পারেন। আরা একটি পাওয়ারফুল প্রজেক্ট আছে আর তা হলো এইচ ২০ (H20) এবং তাদের ওয়েবসাইট হলো h20.ai, হাডুপ এর উপর তৈরী হয় এপাচির হাইভ (Hive) হল একধরনের ডাটা ওয়্যারহাউজ ইনফ্রান্ট্রাকচার যার কাজ হলেঅ তথ্যকে একত্রিত করা এবং ক্যুয়েরী (Query) করে ডাটা বিশ্লেষণ করা। এটা এসকিউএল (SQL) এর মত ল্যাঙ্গুয়েজ ব্যাবহার করে যার নাম হাইভক্যুল (HiveQL)।

আর এইচবেস (HBase) হল একটি ওপেন সোর্স যা নন-রিলেশনাল ডিসট্রিবিউটেড ডাটাবেস মডেল যা জাভা দিয়ে লেখা হয়েছে। এটা ডাটার ভুল ধরে অনাবশ্যক তথ্যকে সঞ্চয় করে। ডাটা এনালাইসিস এ এসকিউএল (SQL) এর চেয়ে বেশী প্রয়োজন হয় আরো গুরুত্বপূর্ন সফটওয়ার আর তার নাম হলো R, R  এক ধরনের স্ট্যাটিস্টিক্যাল প্রোগ্রামিং লেংগুয়েজ যা দিয়ে খুব সহজেই যে কোন ডাটা এনালাইসিস করা যায়। এখানে অনেক জিনিসই আপনি বিল্টইন পাবেন যার ফলে আপনাকে খুব বেশী কোড লিখতে হবে না।

বিগডাটার সুবিধা সমূহঃ

বিগডাটা দিয়ে সুধু ডাটা জমা রাখা যায় তা না বরং ডাটা এনালাইসিস করা যায়, বিভিন্ন ধরনের কাষ্টমাইজ রিপোর্ট জেনারেট করা যায়।  বিগ ডাটা শিখে একজন ছাত্র হতে পারে ডাটা এনালিষ্ট, প্রোগ্রামার, বিগ ডাটা ইঞ্জিনিয়ার, বিজনেস এনালিষ্ট, সোসাল মিডিয়া এনালিষ্ট, ডাটা ইঞ্জিনিয়ার, বিজনেস ডাটা ‍স্পেশালিষ্ট, ডাটা ভিজুয়ালাইজেশন ডেভেলপার, বিআই সোলুশন আর্কটেকচার ইত্যাদী হতে পারে।

বিগ ডাটার বিশেষ বৈশিষ্টঃ

আমরা আগে জানতান ওরাকল সফটওয়্যার সবচেয়ে বেশী ডাটা নিতে পারে কিন্তু না এখন যেখানে ওরাকল এবং এসকিউএল সার্ভারের মত বড় বড় সার্ভার ডাটা নিতে নিতে জায়গা শেষ হয়ে যায় সেখানে বিগ ডাটা ব্যাবহৃত হয় এবং বিগ ডাটা অনায়াশে আনলিমিটেড ডাটা বহন করার ক্ষমতা রাখে।

একই রকম আরো কিছু ফুটপ্রিন্ট

পুলিশ ক্লিয়ারেন্স পেতে আর নয় ভুগান্তি

rafi Ahmed

আসছে “অ্যান্ড্রয়েড ও”।কি থাকছে নতুন এই আপগ্রেডে?

Abdul Mueez

ফেসবুক

MD Rubel

Login

Do not have an account ? Register here
X

Register

%d bloggers like this: