Search Engines कैसे काम करते हैं – Web Crawler क्या है ?

यह खोज इंजन ही हैं जो अंततः आपकी वेबसाइट को संभावित ग्राहकों के ध्यान में लाते हैं। इसलिए यह जानना बेहतर है कि ये खोज इंजन वास्तव में कैसे काम करते हैं और वे खोज शुरू करने वाले ग्राहक को जानकारी कैसे प्रस्तुत करते हैं।

5 Important Rules in Website Design

सर्च इंजन मूलतः दो प्रकार के होते हैं. पहला रोबोट द्वारा है जिन्हें क्रॉलर या स्पाइडर कहा जाता है.

खोज इंजन वेबसाइटों को अनुक्रमित करने के लिए स्पाइडर का उपयोग करते हैं। जब आप किसी खोज इंजन के आवश्यक सबमिशन पेज को पूरा करके अपनी वेबसाइट के पेज सबमिट करते हैं, तो सर्च इंजन स्पाइडर आपकी पूरी साइट को अनुक्रमित कर देगा। ‘स्पाइडर’ एक स्वचालित प्रोग्राम है जो सर्च इंजन सिस्टम द्वारा चलाया जाता है। स्पाइडर एक वेब साइट पर जाता है, वास्तविक साइट पर मौजूद सामग्री, साइट के मेटा टैग को पढ़ता है और साइट से जुड़े लिंक का भी अनुसरण करता है।

स्पाइडर फिर उस सारी जानकारी को एक केंद्रीय डिपॉजिटरी में वापस लौटा देता है, जहां डेटा को अनुक्रमित किया जाता है। यह आपकी वेबसाइट पर मौजूद प्रत्येक लिंक पर जाएगा और उन साइटों को भी अनुक्रमित करेगा। कुछ स्पाइडर आपकी साइट पर केवल एक निश्चित संख्या में पृष्ठों को अनुक्रमित करेंगे, इसलिए 500 पृष्ठों वाली साइट न बनाएं!

स्पाइडर समय-समय पर साइटों पर लौटकर किसी भी बदली हुई जानकारी की जाँच करेगा। ऐसा होने की आवृत्ति खोज इंजन के मॉडरेटर द्वारा निर्धारित की जाती है।

एक मकड़ी लगभग एक किताब की तरह होती है जिसमें सामग्री की तालिका, वास्तविक सामग्री और खोज के दौरान मिलने वाली सभी वेबसाइटों के लिंक और संदर्भ शामिल होते हैं, और यह एक दिन में दस लाख पृष्ठों तक अनुक्रमित कर सकती है।

Example:  Excite, Lycos, AltaVista and Google.

10 Essential Factors for a Successful Compost Pile

जब आप किसी खोज इंजन से जानकारी ढूंढने के लिए कहते हैं, तो वह वास्तव में उस सूचकांक के माध्यम से खोज कर रहा होता है जिसे उसने बनाया है, न कि वास्तव में वेब पर खोज रहा है। विभिन्न खोज इंजन अलग-अलग रैंकिंग उत्पन्न करते हैं क्योंकि प्रत्येक खोज इंजन सूचकांकों के माध्यम से खोज करने के लिए समान एल्गोरिदम का उपयोग नहीं करता है।

खोज इंजन एल्गोरिदम जिन चीजों को स्कैन करता है उनमें से एक वेब पेज पर कीवर्ड की आवृत्ति और स्थान है, लेकिन यह कृत्रिम कीवर्ड स्टफिंग या स्पैमडेक्सिंग का भी पता लगा सकता है। फिर एल्गोरिदम उस तरीके का विश्लेषण करते हैं जिससे पेज वेब में अन्य पेजों से लिंक होते हैं। यह जांच कर कि पेज एक-दूसरे से कैसे लिंक होते हैं, एक इंजन यह निर्धारित कर सकता है कि पेज किस बारे में है, यदि लिंक किए गए पेजों के कीवर्ड मूल पेज के कीवर्ड के समान हैं।