راه اندازی موتور جستجویی مثل گوگل، نیازمند چه زیرساختی است؟

کد خبر: ۶۳۳۴۲۶

تاریخ: ۲۷ مرداد ۱۴۰۰ - ۱۲:۴۸

این روز ها خبر ملی شدن اینترنت و تاسیس موتور جستجویی همانند ذره بین تمامی نگاه ها را به سوی خود جذب کرده است اما اگر بخواهیم در واقعیت به این موضوع توجه کنیم، آیا راه اندازی موتور جستجویی همانند گوگل در ایران می تواند نیازگوی پاسخ میلیون ها نفر باشد؟

آیا در خصوص هزینه ها و زیر ساخت هایی که باید برای راه اندازی یک موتور جستجوی جدید در اختیار داشته باشیم، تفکری عمیق داشته ایم؟ طبق بررسی های صورت گرفته راه اندازی موتور جستجو نیاز به RAM و CPU و پهنای باند و فضای ذخیره سازی اطلاعات دارد.

تنها رایانه کوانتومی گوگل حدود 158 میلیون بار سریعتر از سریعترین ابر رایانه جهان است و این ویژگی ها نیاز به زیرساخت های بسیار وسیعی با هزینه های چند صد میلیارد دلاری است که در این مقاله می خواهیم به آن بپردازیم.

آشنایی با موتور جستجو

شبکه جهانی وب بسیار گسترده است، Search Engines ها یا همان موتور های جستجو در واقعیت کاربران کمک می کنند تا در کسری از ثانیه برای سوالات خود بهترین پاسخ ها را داشته باشند. در جهان موتور های جستجو متنوعی وجود دارند که در حال رقابت با گوگل هستند اما هیچکدام از آن ها به اندازه گوگل دارای محبوبیت و میزان سرچ نهایی نخواهند بود.

از جمله رقبای اصلی گوگل می توان به بینگ اشاره نمود که پشت آن همه سرمایه چند میلیارد دلاری باز نتوانسته است با غول بزرگی همچون گوگل به رقابت بپردازد.

هر موتور جستجویی برای خود تعداد زیادی ربات و یا اسپایدر دارد که تمامی محتویات سایت ها را زیر و رو می کنند و اطلاعات مناسب و به درد بخوری را که توسط سایت ها منتشر شده است را در فضای خود ذخیره سازی می کنند تا در زمان بهتری، به نمایش دیگران قرار دهند.

موتورهای جستجو چگونه کار می کنند؟

عموم سوالاتی که در خصوص موتور های جستجو می شود، شیوه و فعالیت آن ها است. در واقع زمانی که قرار است موتور جستجوی ملی راه اندازی شود مجدد باید تمامی فرایند ها از سر گرفته شود و یا از طریق API اطلاعات گوگل را دریافت و به نمایش کاربران خود در بیاورد.

اما موتور های جستجو برای آن که بتوانند اطلاعات را به درستی طبقه بندی کنند نیاز است تا مراحل زیر را انجام دهند:

1.خزش در سایت ها (Crawl)

2.فهرست کردن (Index)

3.رتبه بندی (Rank)

تمامی این 3 مرحله نیاز به الگوریتم ها و همچنین میزان رم و سی پی یو بسیار قوی ای است تا بتوان این فرایند به بهترین شکل ممکن و همچنین با سرعتی بسیار بالا انجام شود. طبق آمار و نتایج گوگل در روز چندین میلیارد صفحه را خزش می کند و محتواهای جدید و مورد تایید الگوریتم های خود را فهرست بندی می کند تا در بهترین زمان ممکن و بنابر خواست کاربر خود، به آن نشان دهد.

آیا راه اندازی موتور جستجوی ملی امکان پذیر است؟

بنابراین اینطور می توان نتیجه گرفت که راه اندازی موتور جستجوی ملی نیاز به زیرساخت های بسیار پیچیده ای دارد که هزینه های سنگینی را نیز برای دولت متحمل خواهد ساخت. به عنوان مثال گوگل از 64 سی پی یو بسیار پرقدرت با میزان رم 416 گیگابایت بهره می برد تا بتواند با سرعتی بسیار بالا اطلاعات را به کاربران خود منتقل کند.

این میزان از ram و  CPU بدون شک هزینه های چند ده میلیارد دلاری را در ماه برای گوگل دارد و این مزیت ها باعث شده است تا گوگل به عنوان ابر شرکت قدرتمند جهان نامگذاری شود. به نوعی که گفته می شود رایانه کوانتومی گوگل حدود 158 میلیون بار سریعتر از سریعترین ابر رایانه جهان است.

بنابراین یک موتور جستجوی ملی برای آن که بتواند همانند گوگل فعالیت هایی همچون کراول و... را داشته باشد باید حتما از میزان رم و سی پی یو بسیار بالایی برخوردار باشد تا بتواند بدون کوچکترین نقصی به فعالیت خود ادامه دهد که باز این شرایط نیاز به پهنای باند و فضای ذخیره سازی عظیمی است که می تواند هزینه های چند صد میلیاردی را برای دولت به همراه داشته باشد.

همچنین بدانید که میزان پهنای باند گوگل به صورتی است که در حال حاضر بیش از 20 پتابایل داده را در روز می تواند پردازش کند و این عدد در دنیای وب بسیار بسیار بزرگ است.

البته با مراجعه به مقاله هفت اشکال اساسی در طرح «صیانت از کاربران فضای مجازی» می توانید موارد بیشتری را در خصوص طرح صیانت مطالعه کنید.

وجود چندین موتور جستجو چه معایبی را برای کسب و کار ها دارد؟

همیشه چندین مدل از یک نوع محصول می تواند بازار را برای مصرف کنندگان آن سخت کند! بدون شک آن چیزی که باعث می شود محصولی نسبت به محصول دیگر پرطرفدار تر باشد، مزایای آن است.

در بحث موتور های جستجو نیز دقیقا این امر صادق است، در واقع زمانی که بالاجبار باید از موتور های جستجوی داخلی استفاده کنیم، شرایط به گونه ای خواهد بود که مجدد کسب و کار ها برای آن که بتوانند بازار رقابتی خود را داشته باشند، هزینه های مجددی برای تبلیغات پرداخت می کنند که این موضوع خود باعث افزایش میزان هزینه ها خواهد شد. سردرگمی نیز از دیگر معایب چند دسته ای شدن موتور های جستجو است.

آیا نیاز به راه اندازی موتور جستجوی داخلی است؟

در واقعیت اگر بخواهیم یک جمع بندی در این خصوص داشته باشیم، باید عنوان کنیم راه اندازی موتور جستجو هزینه های بسیار زیادی را برای دولت خواهد داشت و عملا به دلایل بسیار زیادی می توان به این نتیجه پی برد که راه اندازی موتور جستجو نه در ایران بلکه در سایر کشور های دیگر عملا غیر ممکن است.

نکته دیگری که باید به آن توجه داشته باشیم، این است که راه اندازی موتور جستجو ملی می تواند بسیاری از کسب و کار های خرد را نابود کند و این موضوع به صورت کامل بر روی قدرت مالی و همچنین اشتغال بسیاری از افراد تاثیرگذار خواهد بود.

راه اندازی موتور جستجوی داخلی - به چه قیمتی؟

زمانی که تصمیم به ساخت و راه اندازی موتور جستجو گرفته این باید مسائل و اتفاقاتی که پیرامون آن در حال انجام هست را نیز ببینم. همان طور که اشاره نمودیم راه اندازی کی موتور جستجو به میلیارد ها تومان سرمایه نیاز دارد چراکه موضوع هاست، پهنای باند، فضای ذخیره سازی اطلاعات، رم و سی پی یو قوی و.... را در بر دارد.

همچنین چندین میلیون کسب و کار اینترنتی از بین خواهند رفت، اشتغال برای بسیاری از جوانان نابود خواهد شد! درسته که چند صد شغل با حقوق وزارت کار ایجاد خواهد شد اما در مقابل میلیون ها کسب و کار از بین خواهد رفت. راه اندازی موتور جستجوی داخلی به چه قیمتی؟

در نهایت باید تشکر کنیم از محسن طاوسی به دلیل در اختیار گذاشتن این اطلاعات و شفاف سازی تاثیر راه اندازی موتور جستجوی داخلی و هزینه هایی که در پی آن وجود دارد.