Search engine কি ? কিভাবে কাজ করে, এর প্রকারভেদ এবং উদাহরণ
সার্চ ইঞ্জিন কি ? সার্চ ইঞ্জিন কিভাবে কাজ করে ? এবং এছাড়াও আরো কিছু অন্যান্য তথ্য আজকের আর্টিকলে আমি আপনাদের দিবো।
আগেকার সময়ে, যদি আমাদের মনে কোনো প্রশ্ন থাকতো তাহলে সেই প্রশ্নের বিষয়ে আমার আসে পাশে থাকা লোকেদের বা শিক্ষক দের জিগেশ করতাম।
তবে আজকের সময়ে,
আমাদের মনে থাকা যেকোনো প্রশ্নের উত্তর খোঁজার জন্যে আমরা কাওকে জিগেশ করিনা।
আমরা সোজা নিজের মোবাইলে ইন্টারনেটের মাধ্যমে প্রশ্নটির বিষয়ে সার্চ করে তার উত্তর পেয়ে যাই।
প্রশ্ন ছাড়াও বিভিন্ন বিষয়ে তথ্য গ্রহণ করা, যেকোনো বিষয়ে অনলাইন কোর্স করা, ইতিহাস এবং মনোরঞ্জন, সবটাই কিন্তু আজ ইন্টারনেটের মাধ্যমে সম্ভব।
মনে করে দেখুন,
যখন আপনার এবং আপনার বন্ধুর মধ্যে যেকোনো একটি প্রশ্ন নিয়ে তর্ক-বিতর্ক চলতে থাকে,
তখন সেই প্রশ্নের উত্তর আপনারা বিভিন্ন সার্চ ইঞ্জিন (search engine) যেমন Google search, yahoo search বা Bing search করেই খুঁজে বের করেন।
Internet আজ তথ্যের ভান্ডার হয়ে দাঁড়িয়েছে, যেখানে যেকোনো বিষয়ের information পেয়ে যাওয়া সম্ভব।
আজ যেকোনো প্রশ্ন মাথায় আসলেই আমরা করে থাকি “Google search“.
লোকেরা আমাদের কোনো প্রশ্ন জিগেশ করে থাকলে আমরা করি “Google search”.
তাই না ?
আর, যখন কথা আসছে Internet এবং online information এর, তখন “search engine” এর ভূমিকা অনেক গুরুত্বপূর্ণ।
ইন্টারনেটে কিন্তু কোটি কোটি তথ্য (information) রয়েছে। তবে, সেই তথ্য গুলোর থেকে আমরা কেবল আমাদের প্রয়োজন হিসেবেই তথ্য গুলোকে সার্চ করছি এবং দেখছি।
আর এই সম্পূর্ণ প্রক্রিয়া নির্ভুল ভাবে হয়ে থাকছে সার্চ ইঞ্জিন এর মাধ্যমে।
চলুন আজকে আমরা জেনেনেই, সার্চ ইঞ্জিন কি (what is search engine in Bengali) এবং কিভাবে কাজ করে সার্চ ইঞ্জিন।
Search engine কি ? (What Is Search Engine)
সঠিক ভাবে বললে, সার্চ ইঞ্জিন হলো একটি সফটওয়্যার প্রোগ্রাম।
এই প্রোগ্রাম এর কাজ হলো,
ইন্টারনেটে উপলব্ধ থাকা কোটি কোটি information এর database গুলোর থেকে user দ্বারা সার্চ করা প্রশ্নের সাথে জড়িত সঠিক তথ্য খুঁজে বের করা এবং সেই তথ্য গুলোর সাথে জড়িত ওয়েবসাইট গুলোকে “search engine result page” (SERP) এর মধ্যে দেখানো।
যেমন Google তার search engine এর ক্ষেত্রে করে থাকে।
প্রত্যেকটি প্রশ্নকে World Wide Web (WWW) এর মধ্যে সার্চ করা হয়।
User দ্বারা সার্চ করা যেকোনো প্রশ্ন (phrase) গুলোর সাথে জড়িত তথ্য খোঁজার ক্ষেত্রে সার্চ ইঞ্জিন গুলো প্রশ্নের সাথে জড়িত কিছু বিশেষ “keyword” এর ব্যবহার করে থাকে।
যখনি আমরা সার্চ ইঞ্জিনে যেকোনো বিষয়ে সার্চ করি, তখন সেই প্রশ্নের সাথে জড়িত আলাদা আলাদা পরিনাম বা তথ্য search engine result page এর মধ্যে দেখানো হয়।
যেমন, text content, video content, audio content এবং আরো অন্যান্য media content সেখানে থাকে।
কোন তথ্য বা কোন প্রকারের তথ্য user এর জন্য সেরা, সেবিষয়ে User দ্বারা search করা প্রশ্নতে (Query) থাকা বিভিন্ন keywords গুলোর ওপর নজর দিয়ে সার্চ ইঞ্জিন সিদ্ধান্ত নিয়ে থাকে।
Search engine গুলোর উদ্দেশ্য এটাই যাতে user কে তার সার্চ করা Query র সঠিক এবং প্রাসঙ্গিক (relevant) সমাধান / তথ্য দেওয়া হয়।
সার্চ করা বিষয়ের সাথে যেই তথ্যের প্রাসঙ্গিকতা সব থেকে বেশি, সেটাকে সার্চ রেজাল্ট পেজে সব থেকে ওপরে বা প্রথম স্থানে দেখানো হয়।
একটি উদাহরণ দিয়ে বুঝিয়ে দিচ্ছি
ধরুন আপনার মনে একটি প্রশ্ন চলে আসলো যে, “গুগল কিভাবে টাকা আয় করে ? “.
এখন, আপনি এর উত্তর জানার জন্য প্রশ্নটি গুগল সার্চ ইঞ্জিনে লিখে সার্চ করলেন।
সার্চ করার সাথে সাথে, গুগল এখন ইন্টারনেটে থাকা প্রত্যেকটি ওয়েবসাইটে আপনার প্রশ্নের সাথে জড়িত উত্তর সার্চ করবে।
এবং, যেগুলো ওয়েবসাইটের মধ্যে আপনার সার্চ করা প্রশ্নের উত্তর থাকছে, সেগুলোকে গুগল তার সার্চ রেজাল্ট পেজে দেখিয়ে দিবে।
এবার, আপনি গুগল সার্চ রেজাল্ট পেজ থেকে যেকোনো একটি ওয়েবসাইটে গিয়ে নিজের প্রশ্নের উত্তর জেনে নিতে পারবেন।
আপনার সার্চ করা প্রশ্ন টিকে ইন্টারনেটের ভাষাতে বলা হয় keyword বা key phrase.
সার্চ ইঞ্জিন গুলোর কিছু algorithm রয়েছে, যেগুলোর মাধ্যমে সে বুঝতে পারে, কোন keyword এর ক্ষেত্রে কোন তথ্য বা রেজাল্ট গুলো সেরা।
তাহলে বন্ধুরা, আশা করছি আপনারা বুঝতেই পেরেছেন যে, সার্চ ইঞ্জিন মানে কি বা সার্চ ইঞ্জিন কাকে বলে।
সার্চ ইঞ্জিন এর কাজ কি ?
সার্চ ইঞ্জিন এর কাজ হলো, user এর দ্বারা সার্চ করা টেক্সট, শব্দ, বাক্য, প্রশ্ন বা কীওয়ার্ড এর সঠিক ও প্রাসঙ্গিক উত্তর ও তথ্য খুঁজে বের করা।
এবং, খুঁজে বের করা তথ্য বা উত্তর হিসেবে বিভিন্ন ওয়েবসাইটের তালিকা নিজের search engine result page এর মধ্যে দেখানো।
এটাই হলো একটি সার্চ ইঞ্জিন এর কাজ।
এখন, যদি আপনারা বলেন যে, সার্চ ইঞ্জিন কিভাবে কাজ করে ? তাহলে এর উত্তর নিচে জেনেনিতে পারবেন।
সার্চ ইঞ্জিন কিভাবে কাজ করে ?
দেখুন, যখন আমরা যেকোনো প্রশ্ন, শব্দ, বাক্য ইত্যাদি search engine এর মধ্যে লিখে সার্চ করি, তখন সেই text গুলোকে “keyword” বলা হয়।
ধরুন, যদি আপনি গুগল এর মধ্যে “what is search engine” লিখে সার্চ করলেন তাহলে সেটা একটি কীওয়ার্ড।
সার্চ করার সাথে সাথে আপনার সার্চ করা keyword টিকে Word Wide Web এর মধ্যে সার্চ করা হবে।
এবং তার পর, যখন আপনার সার্চ করা কীওয়ার্ড টি কোনো ওয়েবসাইটের title, description, content ইত্যাদির সাথে match করবে, তখন সেই ওয়েবসাইট গুলোকে সার্চ ইঞ্জিন এর রেজাল্ট পেজে দেখানো হয়।
সার্চ করা keyword এর সাথে ওয়েবসাইটের কনটেন্ট এর প্রাসঙ্গিকতা (relevancy) থাকতে হবে।
কেবল তখন, সেই ওয়েবসাইট গুলোকে সার্চ করা কীওয়ার্ড এর জন্য search result এর মধ্যে দেখানো হবে।
বর্তমান সময়ে সার্চ ইঞ্জিন গুলো প্রচুর উন্নত (advance) হয়ে গেছে।
তাই, সার্চ করা keyword এবং ওয়েবসাইটের content এর মধ্যে কতটা প্রাসঙ্গিকতা রয়েছে, সেটা সার্চ ইঞ্জিন অনেক সহজেই বুঝে নিতে পারে।
তবে আমি অনেক সহজ ভাষাতে আপনাদের বললাম যে, সার্চ ইঞ্জিন কিভাবে কাজ করে।
চলুন, technically কিভাবে search engine গুলো কাজ করে, সেটা জেনেনেই।
How search engine works ? (Bangla guide)
প্রত্যেকটি সার্চ ইঞ্জিন এর নিজের নিজের আলাদা কিছু formula রয়েছে যেগুলোকে algorithm বলা হয়।
এই algorithm গুলোই সিদ্ধান্ত নিয়ে থাকে যে কোন keyword এর জন্য কোন ওয়েবসাইটের কনটেন্ট সার্চ রেজাল্টে দেখানো হবে।
এছাড়া, সার্চ রেজাল্টে ওয়েবসাইট গুলোর ranking কি হবে, সেই সিদ্ধান্ত এই এলগোরিদম গুলোর দ্বারা নেওয়া হয়।
একটি সার্চ ইঞ্জিন এর কাজ হলো “ইউসার এর দ্বারা সার্চ করা কীওয়ার্ড এর সঠিক ও প্রাসঙ্গিক তথ্য প্রদান করা”.
আর এই ক্ষেত্রে, Search engine গুলো মূলত ৩ টি প্রক্রিয়ার ব্যবহার করে কাজ করে।
সেগুলো হলো, “crawling“, “indexing“, “ranking“.
Crawling
সার্চ ইঞ্জিন এর এটা সব থেকে প্রথক কাজ যেখানে কিছু automatic bots, spider বা program যেগুলোকে আমরা crawler বলি, সম্পূর্ণ World Wide Web এর মধ্যে ঘুরে ঘুরে তথ্য (information) সংগ্রহ করে।
এই crawlers গুলো অসংখ্য ওয়েবসাইট গুলোতে গিয়ে সেই ওয়েবসাইট গুলোর content এবং pages গুলোকে scan করে।
এই crawlers গুলো, ওয়েবসাইট গুলোতে থাকা বিভিন্ন link গুলোর মাধ্যমে একটি webpage থেকে আরেকটি webpage এর মধ্যে চলে যায়।
আর এভাবেই, সম্পূর্ণ world wide web এর মধ্যে crawler গুলো ঘুরে ঘুরে তথ্য সংগ্রহ করতে থাকে।
Crawler গুলো যেকোনো ওয়েবসাইটের মধ্যে গিয়ে বিভিন্ন ধরণের তথ্য সংগ্রহ করতে পারে।
যেমন,
- ওয়েবপেজ এর title এবং description
- পেজ টিতে কিসের বিষয়ে তথ্য রয়েছে
- কনটেন্ট এর মধ্যে কি কি keywords রয়েছে
- Images এবং videos রয়েছে কি না
- Website এর মধ্যে কতটি page রয়েছে
- ওয়েবসাইটটি সময়ে সময়ে update হচ্ছে কি না
- ওয়েবসাইট এর মধ্যে কি কি external এবং internal links রয়েছে।
চলুন, এখন আমরা সার্চ ইঞ্জিন এর দ্বিতীয় কাজের প্রক্রিয়ার বিষয়ে জেনেনেই যেটা হলো “Indexing“.
Indexing
Indexing হলো একটি সাধারণ প্রক্রিয়া (process) যেখানে সার্চ ইঞ্জিন ক্রলার দ্বারা ক্রল বা স্ক্যান করা ওয়েবসাইট গুলোর সম্পূর্ণ ডাটা গুলোকে database এর মধ্যে store করে রাখা হয়।
ফলে, ইউসার দ্বারা সার্চ ইঞ্জিন এর মধ্যে সার্চ করা হলে, অনেক তাড়াতাড়ি database থেকে তথ্য গুলোকে সংগ্রহ করে দেখিয়ে দেওয়া হয়।
সার্চ ইঞ্জিন গুলো প্রত্যেক দিন অসংখ্য ওয়েবসাইট গুলোকে crawl এবং তারপর index করে।
ইন্টারনেটে যত গুলো ওয়েবসাইট রয়েছে, সেগুলোর প্রায় প্রত্যেকটি ওয়েবসাইট এই সার্চ ইঞ্জিন গুলো crawl ও index করে থাকে।
Ranking
এটা হলো সার্চ ইঞ্জিন এর কাজ করার তৃতীয় এবং শেষ প্রক্রিয়া।
এখানে সিদ্ধান্ত নেওয়া হয় website ranking এর।
মানে, যেকোনো keyword যখন search engine এর দ্বারা search করা হবে,
তখন, কোন কোন ওয়েবসাইট গুলোকে সার্চ করা keyword এর জন্য search result page এর মধ্যে দেখানো হবে সেটার সিদ্ধান্ত নেওয়া হয়।
এছাড়া, সার্চ করা কীওয়ার্ড এর বিপরীতে রেজাল্ট পেজে দেখানো ওয়েবসাইটের তালিকা গুলোতে কোন ওয়েবসাইট আগে এবং কোন ওয়েবসাইট নিচে থাকবে, সেটাও এই প্রক্রিয়ার মাধ্যমেই নির্ধারিত করা হয়।
সার্চ ইঞ্জিন এর এই প্রত্যেকটি কাজ, search engine এর ranking algorithm দ্বারা করা হয় যেটা অনেক জটিল metaethical formula.
বিশ্বের সেরা এবং জনপ্রিয় সার্চ ইঞ্জিন কোনগুলো ?
চলুন এখন আমরা জেনেনেই ইন্টারনেটে থাকা সব থেকে সেরা সার্চ ইঞ্জিন কোন গুলো।
আমি যেগুলো সার্চ ইঞ্জিন এর বিষয়ে বলবো সেগুলো তাদের জনপ্রিয়তার ওপর নির্ভর করেই বলছি।
- Yahoo
- Bing
- Baidu
- Yandex
- Ask
- AOL
- DuckDuckGo
- Excite
- AltaVista
- WebCrawler
- Dogpile
লিস্টের মধ্যে আপনারা অবশই দেখতে পারছেন যে Google কে প্রথম স্থানে রাখা হয়েছে।
কারণ, Google হলো বিশ্বের সব থেকে জনপ্রিয় এবং no.1 সার্চ ইঞ্জিন।
সার্চ ইঞ্জিন এর প্রকার – (types of search engine)
সার্চ ইঞ্জিন মূলত ৪ রকমের হতে পারে। চলুন প্রত্যেকটির বিষয়ে জেনেনেই।
- Crawler based search engine
- Web directories
- Hybrid search engines
- Meta search engines
১. Crawler based search engine
এই ধরণের সার্চ ইঞ্জিন গুলোতে crawler এবং auto bots এর ব্যবহার করে website গুলোকে crawl এবং index করা হয়।
তাছাড়া, এই প্রকারের সার্চ ইঞ্জিন গুলোতে ranking এর প্রক্রিয়া ব্যবহার করে website গুলোকে rank করা হয়।
এবিষয়ে আমরা আগেই আলোচনা করেছি।
Crawler based search engine এর উদাহরণ কিছু হলো –
- Yahoo
- Bing
- Yandex
- Ask
২. Web directories
এখানে এক ধরণের directory system ব্যবহার করে বিভিন্ন website গুলোর link এবং তাদের বিষয়ে সামান্য তথ্য দিয়ে রাখা হয়।
আলাদা আলাদা রকমের ওয়েবসাইটের জন্য আলাদা আলাদা ক্যাটাগরি রয়েছে।
এবং, ক্যাটেগরি হিসেবে ওয়েবসাইট গুলোকে লিস্ট করা হয়।
তবে, এই ধরণের web directory গুলোতে website এর owner নিজেই নিজের website জমা দিতে হয়।
এবং, ওয়েবসাইট জমা দেওয়ার সময় ওয়েবসাইটের সঠিক ডিরেক্টরি বেঁচে নিতে হয়।
এই ধরণের web directories গুলোতে কোনো ধরণের automated bots ব্যবহার করা হয়না।
আপনার জমা দেওয়া ওয়েবসাইট যদি জমা দেওয়ার পর manually review করা হয় এবং তারপর accept বা reject করা হয়।
আপনার ওয়েবসাইট accept করা হলে সেটাকে directory তে list করে দেওয়া হয়।
Web directory গুলোতে একটি search box থাকছে।
এই সার্চ বক্সে text / keywords লিখে website এর তালিকার থেকে নিজের প্রয়োজন হিসেবে ওয়েবসাইট গুলোকে সার্চ করতে পারবেন।
কিছু web directory হলো –
- A1webdirectory
- Blogarama
- 9sites
- Yahoo directory
- DMOZ
Hybrid search engines
এই ধরণের সার্চ ইঞ্জিন গুলো যেকোনো ওয়েবসাইট তার সার্চ রেজাল্ট পেজে দেখানোর জন্য crawler এবং manual indexing দুটো প্রক্রিয়ার ব্যবহার করে থাকে।
এক্ষেত্রে, গুগল এর উদাহরণ আমরা নিতে পারি।
যেভাবে গুগল crawling এর প্রক্রিয়া ব্যবহার করার সাথে সাথে directory থেকেও যেকোনো ওয়েবসাইট এর বিষয়ে তথ্য গ্রহণ করতে পারে।
আগেকার সময়ে web directories এর প্রচলন প্রচুর বেশি ছিল।
তবে, এখনের সময়ে web directories গুলোর প্রচলন অনেকটা কমে এসেছে।
আর তাই, hybrid search engine গুলো ধীরে ধীরে crawler based search engine হতে চলেছে।
Hybrid search engine এর উদাহরণ –
- Yahoo
৪. Meta search engines
এই ধরণের সার্চ ইঞ্জিন গুলো অন্যান্য সার্চ ইঞ্জিন এবং directories গুলোর থেকে বিভিন্ন পেজের meta information গুলো নিয়ে নিজের সার্চ রেজাল্টে দেখায়।
যখন আমরা এই ধরণের সার্চ ইঞ্জিন গুলোতে কোনো keyword / query লিখে সার্চ দেই,
তখন আমাদের দেওয়া keyword / search query টিকে অন্যান্য অনেক সার্চ ইঞ্জিন গুলোতে নিয়ে সার্চ করা হয়।
এবং তারপর, পেয়ে যাওয়া সার্চ রেজাল্ট গুলোকে একসাথে নিয়ে এসে নিজের algorithm ব্যবহার করে result পেজে rank করানো হয়।
Examples of meta search engine –
- Dogpile
- Metacrawler
তাহলে বুঝলেন তো সার্চ ইঞ্জিন এর প্রকারভেদ গুলোর বিষয়ে।