، روبات جست‌وجوگر

تاريخ انتشار:05/11/1387

Googlebot، روبات جست‌وجوگر نوشين هژبرنژاد- دنياي كامپيوتر و ارتباطات بدون شك هر يك از ما هنگامي كه موضوعي را در اينترنت جست‌وجو كرده‌ايم با ليست مفصلي از اطلاعات مواجه شده‌ايم كه در بيشتر مواقع با دريافت مطالبي كه در صدر فهرست هستند به مقصود خود رسيده‌ايم. google به عنوان مهمترين مخزن اطلاعات جهان از مكانيسم‌هاي ويژه‌اي براي طبقه‌بندي و نيز اولويت‌گذاري مطالب استفاده مي‌كند. googlebot روبات جست‌و‌جوگري است كه فهرستي طبقه‌بندي شده از مطالب و موضوعات گوناگون را به كاربر ارائه مي‌دهد. در واقع مانند يك روبات خزنده عمل مي‌كند بدين ترتيب كه در بين صفحات سايت‌ها حركت كرده و تمامي اطلاعات را در يك محل ذخيره مي‌كند و براي استفاده آسان‌تر فهرستي از آنها تهيه مي‌نمايد. اصطلاحا مي‌گويند googlebot مانند عنكبوتي عمل مي‌كند كه قادر است تمامي تارهاي شبكه خود را زير نظر داشته و با سرعتي زياد روي آنها حركت كند. googlebot تمامي صفحات سايت‌ها را مي‌پيمايد و حتي تمامي پيوندهاي بين صفحات را براي يافتن اطلاعات جست‌و‌جو مي‌كند. به عبارتي مانند يك web browser عمل مي‌كند. google از سه قسمت مجزا تشكيل شده است: • ابتدا googlebot در بين شبكه‌ها حركت مي‌كند در اين رفت‌وآمد بين صفحات، مطالب گوناگون را جست‌و‌جو كرده و مي‌يابد. • كلمات پيدا شده در روي هر صفحه در قالب فهرستي طبقه‌بندي شده ذخيره مي‌شوند، بديهي است كه اين فهرست بسيار بزرگ خواهد بود و در يك پايگاه اطلاعاتي بسيار بزرگ ذخيره مي‌گردد. googlebot به صفحات پيمايش شده شماره‌اي مشخص مي‌دهد و كلمات گوناگون را بر اساس حروف الفبا فهرست‌بندي مي‌كند. با پيمايش هر صفحه، موضوعات و مطالبي جديد به اين فهرست اضافه مي‌شود. در هنگام جست‌و‌جو براي فهرست كردن مطالب google به طور اتوماتيك فضاهاي خالي، برخي علامات و نقطه‌گذاري‌ها، كلمات تكراري و نيز واژه‌هايي از قبيل the, is, on, or, of , how, why , را حذف مي‌كند و تمامي حروف را به اندازه كوچك تبديل مي‌نمايد. اين مسئله خود باعث سرعت بيشتر خواهد شد. • آخرين مرحله، پاسخ به درخواست كاربر است. هنگامي كه كاربر در رابطه با موضوعي پرسشي مي‌كند يا كلمه خاصي را در محيط google تايپ مي‌كند googlebot به جست‌و‌جو در فهرست تهيه شده، مي‌پردازد و هر آنچه را كه در پايگاه داده‌هاي خود ذخيره كرده است بر اساس اولويت تعيين شده در اختيار كاربر قرار مي‌دهد. بديهي است كه با استفاده از اين روش شاخص‌گذاري سرعت دسترسي به اطلاعات بسيار بالا مي‌رود زيرا هنگام جست‌و‌جوي مطلبي خاص google ابتدا در فهرست الفبايي خود به دنبال كلمه موردنظر گشته و سپس براساس شاخص يا آدرس مشخص آن در پايگاه داده‌هاي خود مي‌يابد. اما براي اولويت‌بندي مطالب، google چندين فاكتور را درنظر مي‌گيرد كه برخي از آنها عبارت است از: طراحي مناسب، داشتن پيوندهايي دقيق به سايت‌هاي ديگر، اعتبار و شهرت سايت و نيز ميزان استقبال كاربران از آن مي‌باشد. در بين فاكتورهاي تعيين كننده اولويت، آنچه از همه موارد مهم‌تر است پيوندهاي مناسب صفحات يك سايت به سايت‌هاي ديگر مي‌باشد كه هر اندازه دقيق‌تر و همچنين از تعداد بيشتري برخوردار باشد آن سايت از جايگاه بالاتري در فهرست جست‌و‌جو برخوردار است. عامل مهم ديگري كه باعث صدرنشيني سايتي مي‌شود ميزان جست‌و‌جو و ديدن آن از طرف كاربران است در واقع هر چه ميزان استقبال از آن بيشتر باشد در اولويت بالاتري قرار خواهد گرفت. google اين امكان را به مدير شبكه يا طراح سايت مي‌دهد كه در صورت تمايل با استفاده از تمهيداتي خاص اطلاعات را در دسترس ديگران قرار دهد يا مانع از ديدن و استفاده داده‌ها و اطلاعات مربوطه شود. طراح سايت يا شبكه مي‌تواند با اجراي فايل robots.txt و يا اضافه كردن عبارت زير به صفحه سايت خود اطلاعات آن را قابل دسترس براي googlebot نمايد. روش ديگر ، معرفي سايت در آدرس www.google.com/addurl.html مي‌باشد در واقع با بكاربردن چنين روش‌هايي، سايت‌هاي گوناگون خود را به googlebot معرفي مي‌كنند تا در ليست پيمايش آن قرار گيرند و در فهرست طبقه‌بندي شده آن جايي مناسب را به خود اختصاص دهند. بديهي است كه هر چه اطلاعات و محتواي سايتي در رده‌بندي بالاتر باشد امكان دسترسي و ديده شدن بيشتر خواهد بود. بعضي از سايت‌ها با ايجاد پيوندهايي به سايت‌هاي مهم و شناخته شده سعي مي‌كنند تا بيشتر مطرح شوند، زيرا googlebot تمامي صفحات سايت‌ها را اعم از پيوندها و صفحات مرتبط، جست‌و‌جو مي‌كند و با درنظر گرفتن تعداد پيوندها، سايت موردنظر را در رده‌اي مناسب قرار مي‌دهد. هنگامي كه كاربر كلمه‌اي را از طريق google جست‌و‌جو مي‌كند، googlebot از سرور شبكه درخواست مي‌كند تا كلمه موردنظر را در فهرست طبقه‌بندي شده شناسايي كرده و اطلاعات مربوطه را بر اساس اولويت تعيين شده به نمايش درآورد. درواقع googlebot شامل تعداد زيادي از اطلاعات وب سايت‌هاست و googlebot.com شامل آدرس‌هاي آنهاست. Googlebot داراي دو نوع شناخته شده است: deepbot , freshbot deepbot در سايت‌ها و شبكه‌ها جست‌و‌جو مي‌كند و تمامي اطلاعات، داده‌ها و پيوندهاي صفحات را بررسي كرده و بطور كامل در سرور خود بارگذاري مي‌نمايد. در نهايت اطلاعات ذخيره شده را طبق روش‌هايي خاص فهرست‌بندي مي‌كند. deepbot در فواصل زماني مشخص كه اغلب يك ماه يك بار است، اطلاعات سايت‌ها را جست‌و‌جو كرده و آنها را در محل سرور خود ذخيره مي‌نمايد. Fresh bot نيز در سايت‌ها و شبكه‌هاي گوناگون جست‌و‌جو كرده و اطلاعات بروز شده كه تازه و جديد هستند را پيدا مي‌كند و آنها را در سرور خود بار گذاري مي‌كند. در واقع freshbot براي سايت‌هايي تعبيه شده است كه اطلاعات و محتواي آنها دائما تغيير مي‌كند به عبارتي دائما بروز رساني مي‌شوند. google براي پيمايش صفحات داراي انواعي است كه هر كدام وظايف خاصي را بر عهده دارند: • Googlebot انتخاب و پيمايش صفحات سايت‌ها • Mediabot اين پيمايش از اهميت بالايي برخوردار است ابتدا به تجزيه و تحليل صفحات سايت‌ها مي‌پردازد و در نهايت پيوند معني داري بين مطالب و موضوعات مرتبط ايجاد مي‌كند. اين پيمايش منحصر به جنبه‌اي خاصي از موضوعات نمي‌شود، در واقع ايجاد ارتباط منطقي بين موضوعات گوناگون در هنگام جست‌و‌جوي مطالب از مواردي است كه داراي اهميت ويژه‌اي است. طراح سايت مي‌تواند با اضافه كردن اين عبارت user-agent:mediapartners-google* از اين ويژگي استفاده نمايد. • Imagebot براي پيمايش صفحاتي است كه تصاويري در آنها وجود دارد. رتبه‌بندي آن نيز اغلب از روي كلمات كليدي است كه هدف و مقصود تصوير را مي‌رساند ولي از روي نام فايل تصويري، تيتر، زيرنويس و يا متن حاشيه عكس نيز رده‌بندي صورت مي‌گيرد. از طرفي با اضافه كردن عبارت زير و استفاده از اين تكنيك از پهناي باند، استفاده بهينه مي‌شود. user-agent:googlebot-image • Googlebot-mobile براي پيمايش محتواي اطلاعات موبايل است. با اين تكنيك محتواي سايت‌هاي مربوط به موبايل تجزيه و تحليل و طبقه‌بندي مي‌شود. كاربران موبايل مي‌توانند سايت‌ها، مطالب و موضوعات موردنظر خود را از طريق google mobile web روي دستگاه تلفن همراه خود جست‌و‌جو نمايند. براي قرارگيري سايت در فهرست رده‌بندي، عبارت زير لازم است. user-agent:googlebot-mobile • Adsbot پيمايش و تجزيه و تحليل كلمات نشاندار يا كليدي در صفحات سايت‌هاي تبليغاتي است. تجزيه و تحليل محتواي سايت كمك مي‌كند تا كيفيت سايت به منظور رتبه‌بندي انجام شود. البته google براي تبليغات روش ديگري نيز دارد كه آن CTR (click through rate) است كه اگر سايتي در اولويت رده‌بندي قرار گيرد مي‌بايست براي هر دفعه‌اي كه كاربر از آن سايت ديدن مي‌كند به عبارتي روي آن كليك مي‌كند تا مبلغي مشخص از طرف دارنده سايت به شركت google واريز شود. براي وارد شدن به رده‌بندي عبارت زير لازم است. user-agent:adsbot-google اين مسئله كه چگونه googlebot در بين اطلاعات بدست آمده فهرستي تهيه مي‌كند و با چه منطقي اطلاعات را اولويت‌بندي مي‌كند موضوع بسيار جالبي است كه شركت google هزينه و وقت زيادي را صرف آن كرده است. اين شركت در فواصل زماني معين روش‌هاي جديدي را جايگزين شيوه‌هاي قديمي مي‌نمايد تا از سوءاستفاده بعضي افراد كه مي‌خواهند مطلب يا سايت خود را در اولويت قرار دهند، جلوگيري كند. امروزه اغلب شركت‌هاي تجاري داراي سايت‌هايي هستند كه محصولات خود را از طريق اينترنت به عموم مردم عرضه نمايند و در دنياي تجارت امروزه تبليغات در تمامي عرصه‌ها نقش مهمي ايفا مي‌كند. شركت‌هاي تجاري و بازرگاني امروزه هزينه زيادي براي تبليغات و به بياني ديگر مطرح شدن مي‌پردازند. واضح است هر چه نام و خدمات شركتي در ليست جست‌و‌جو google بالاتر باشد توجه افراد بيشتري را به خود جلب مي‌كند و يقينا در موفقيت آن شركت نقش بسزايي دارد. البته خدمات ويژه‌اي در google تعبيه شده است كه افراد براي تبليغات شركت يا محصول خود مي‌توانند با پرداخت مبلغي پول بين اولين، دومين و سومين تبليغ قرار گيرند زيرا كارشناسان اين امر معتقدند كه تبليغاتي موفق‌تر است كه در سه گزينه اول قرار گيرد و طبق آمار بدست آمده اولويت سه تاي اول باعث مي‌شود تا فروش شركت‌ها 30% افزايش يابد. در رابطه با مطالب و موضوعات متفاوت اعم از علمي، اجتماعي، سياسي و ... به همين منوال است. در ليستي كه googlebot تهيه مي‌كند هر چه مطالب در بين اولين‌ها باشد، امكان ديده شدن آنها بيشتر است. google به طور اتوماتيك و هوشمند آدرس‌هايي را حذف مي‌كند كه موجب اغفال كار