يکي از وظايف اين سازمان تحقيقاتي، تهيه برنامه يي براي ايالات متحده بود که پس از يک حمله اتمي، کنترلش را بر موشک ها و بمب افکن هاي خود حفظ کند. به اين ترتيب شبکه «آرپانت» که در حال حاضر به عنوان اينترنت شناخته مي شود، به وجود آمد. اولين اتصالات «آرپانت» در سال 1969 ايجاد و در اکتبر 1972 اين شبکه عمومي شد (البته نه براي تمام کشورهاي جهان). تقريباً 20 سال پس از پيدايش اينترنت، وب جهاني (www) به منظور ايجاد امکان تبادل عمومي اطلاعات بر پايه يک استاندارد فراگير متولد شد. اين شبکه به عنوان زيرساخت اينترنت مورد استفاده قرار گرفت.

براساس گفته «تيم برنزلي» طراح شبکه استاندارد وب، اينترنت شبکه يي از شبکه ها بوده و اساساً از کامپيوترها و کابل ها ساخته شده است. وب يک فضاي خيالي شامل اطلاعات است. در اينترنت، اتصالات از طريق کابل هاي بين کامپيوترها و در وب، پيوندهاي فرامتني است.

وب به دليل برنامه هايي که ميان کامپيوترهاي موجود در اينترنت ارتباط برقرار مي کند، وجود دارد. وب بدون اينترنت معنايي ندارد. از آنجا که مردم واقعاً به اطلاعات جديد علاقه مند هستند و در عين حال نمي خواهند مجبور باشند مطالبي در مورد کابل ها و شبکه ها بدانند، وب موجب شده است که اينترنت مفيد واقع شود.

به دليل اطلاعاتي که در کل جهان بين کامپيوترها به اشتراک گذاشته شده است، به تدريج لازم شد اين اطلاعات نظم پيدا کند. در همين راستا موتورهاي جست وجوگر اينترنت به وجود آمد.

اولين جست وجوگر اينترنت آرچي نام داشت که در سال 1990 به وسيله «آلن امتيج» يکي از دانشجويان دانشگاه مک گيل در مونترال کانادا ايجاد شد. اين برنامه با ايجاد يک پايگاه اطلاعاتي قابل جست وجو از اسامي فايل ها، فهرست فايل هاي موجود در سايت هاي FTP عمومي ناشناخته را در خود جاي داده بود. بعد از آن جست وجوگري به نام گوفر در سال 1991 به وسيله «مارک مک کاهيل» در دانشگاه مينه سوتاي ايالات متحده ساخته شد. در حالي که موتور جست وجوگر آرچي فايل هاي کامپيوتري را فهرست مي کرد، روش کار گوفر اين گونه بود که اسناد متني را ايندکس گذاري مي کرد. از آنجايي که اينها (متن هاي ايندکس گذاري شده) فايل هاي متني بود، اکثر سايت هاي گوفر پس از ايجاد شبکه جهاني وب، به وب سايت تبديل شدند.

در سال 1993 يعني دو سال بعد يکي از دانشجويان دانشگاه ام آي تي امريکا به نام «متيو گري» اولين روبات جست وجوگر اينترنتي به نام world wide web wanderer را ساخت. اين روبات در ابتدا براي شمارش وب سرورها به منظور اندازه گيري گستردگي وب به کار گرفته مي شد. Wanderer از سال 1993 تا 1995 ماهانه ارتقا داده مي شد و بعدها نيز با ايجاد اولين پايگاه اطلاعات وب سايت ها به نام ونديکس، از آن براي به دست آوردن آدرس ها استفاده مي شد. يک روبات جست وجوگر در واقع برنامه يي است که به طور اتوماتيک ساختار فرامتني وب را با بازيابي يک سند يا تمام اسناد ارجاع داده شده در آن طي مي کند. گاه به روبات هاي وب، سيارهاي وب، وب خز يا عنکبوت مي گويند.

در ابتدا روبات ها اندکي بحث برانگيز بودند چراکه حجم زيادي از پهناي باند شبکه را اشغال مي کردند و اين مساله گاهي باعث از کار افتادن کامپيوترهاي شبکه مي شد. در روبات هاي جديدتر تغييرات مهمي داده شده و در حال حاضر براي ساخت ايندکس ها اغلب موتورهاي جست وجوگر به کار مي روند. به طور مثال جست وجوگر گوگل از بيش از 150 هزار روبات جست وجوگر تشکيل شده است.

در سال 1993 شش نفر از دانشجويان دانشگاه استنفورد امريکا موتور جست وجوگر اکسايت را عرضه کردند. اين جست وجوگر از تحليل آماري روابط کلمات براي کمک به روند جست وجو استفاده مي کرد.

پس از يک سال جست وجوگر اکسايت ثبت شد و در دسامبر 1995 به صورت آنلاين شروع به کار کرد و در حال حاضر هم بخشي از جست وجوگر ASK محسوب مي شود. در سال 1994 هم جست وجوگر Elnet Galaxy به عنوان بخشي از کنسرسيوم تحقيقات MCC در دانشگاه تگزاس انتشار يافت و اکنون خود يک شرکت کامپيوتري مستقل است که حاوي ويژگي هاي جست وجوي گوفر و تل نت (موتورهاي جست وجوگر سابق) نيز هست. «جري يانگ» و «ديويد فلو» در سال 1994 جست وجوگر ياهو را تاسيس کردند. آنها کار را با ليست کردن وب سايت هاي محبوب خود شروع کردند. آنچه اين موتور جست وجو را محبوب و متفاوت کرده بود، اين بود که براي هر جست وجو علاوه بر آدرس آن، توضيح مختصري هم ارائه مي شد. موسسان ياهو توانستند در طول يک سال بعد دو برابر سرمايه اوليه خود را دريافت کنند و به يک غول اينترنتي تبديل شوند.

در همان سال 1994 وب کرالر هم ارائه شد که اولين موتور جست وجوي کاملاً متني در اينترنت بود يعني براي نخستين بار تمام متن هر صفحه از وب را براي جست وجو علامت گذاري مي کرد.

inktomi يک موتور جست وجوي دايرکتوري داراي تکنولوژي «استنباط مفهوم» را معرفي کرد. طبق گفته اين کمپاني فناوري استنباط مفهوم از تجزيه و تحليل انساني استفاده مي کند و عادت هاي يکساني را براي تحليل کامپيوتري پيوندها، کاربردها و ساير الگوهاي تشخيص سايت هاي محبوب تر و پرکارتر به کار مي برد. جالب اينکه اين جست وجوگر در سال 2003 به وسيله شرکت ياهو خريداري شد.

گوگل در سال 1997 در دانشگاه استنفورد به عنوان بخشي از يک پروژه تحقيقاتي به وسيله «سرگئي برين» و «لري پيج» ساخته شد. اين موتور جست وجو با استفاده از پيوندهاي دروني، سايت ها را رتبه بندي مي کند و به جست وجوي آنها مي پردازد. در سال 1998 جست وجوگر MSN از شرکت مايکروسافت شروع به کار کرد که البته همراه با ويندوز که سيستم عامل اصلي بود، به کاربران معرفي شد. عرضه MSN سيستم عامل ويندوز يکي از مهم ترين دلايل موفقيت و پيشرفت اين موتور جست وجوگر بود.

در همان سال 1998 جست وجوگر open Director هم شروع به کار کرد که طبق گفته اين سايت جست وجوگر يادشده بزرگ ترين و کامل ترين دايرکتوري تنظيم شده به وسيله افراد در وب است که توسط انجمن جهاني ويرايشگران داوطلب متشکل از افراد علاقه مند به اين تکنيک، ساخته شده و نگهداري مي شود.

جست وجوگر فايرفاکس به معناي روباه آتشين هم سرانجام يکي از آخرين و جديدترين جست وجوگرهاي اينترنت است که با روشي ويژه به کمک کاربران آمده است. در مدت زمان کوتاهي که از عرضه فايرفاکس مي گذرد، چنان جلب توجه کرده و پيشرفتي باورنکردني داشته است که سال گذشته ميلادي از طرف مجله معتبر PCWorld به عنوان بهترين نرم افزار دنياي کامپيوتر معرفي شد و توانست مدعيان مطرحي همچون گوگل و ياهو را پشت سر گذارد.

اين در حالي است که امروزه استفاده از موتورهاي جست وجوگر در اينترنت براي اکثر افراد به ويژه در ايالات متحده به يک عادت تبديل شده است زيرا امريکا بيشترين تعداد کاربر اينترنتي را در جهان دارد و استفاده از اينترنت بدون موتورهاي جست وجوگر بي معنا است. اين دستاورد براي تکنولوژي که عمر آن 15 سال بيشتر نيست، بسيار مهم و حائز اهميت بوده و هم اکنون نيز روزبه روز در حال گسترش و پيشرفت است.

منبع: روزنامه اعتماد