大連網站建設之知名網站的技術發展

大連網站建設之知名網站的技術發展

互聯網已經發展多年，其中不乏脫穎而出者，這些網站多數都已存在了接近10年或10年以上，在如此長時間的發展過程中，除了業務上面臨的挑戰，在技術上也面臨了很多的挑戰。

Google目前Alexa 排名第1。它誕生于1997年，當時是一個研究性項目，每個月build一次索引，build出來的索引通過sharding（shard by doc）的方式分散到多臺服務器（Index Server）上，具體的網頁數據同樣通過sharding的方式分散到多臺服務器（Doc Server）上，當用戶提交請求時，通過前端的一臺服務器將請求提交給Index Server獲得打了分的倒排索引，然后從Doc Server提取具體的網頁信息（例如網頁標題、搜索關鍵詞匹配的片段信息等），最終展現給用戶。

隨著索引的網頁增加，這個結構可通過增加Index Server以及Doc Server來存儲索引以及網頁的數據，但仍然會面臨其他很多方面的問題，于是在這之后的十多年的時間里，Google做了很多事情來改進上面的結構。

1999年，Google增加了一個Cache Cluster，用來Cache查詢的索引結果和文檔片段信息，同時將Index Server和Doc Server通過Replicate的方式變成了Cluster。這兩個改造帶來的好處是網站的響應速度、可支撐的訪問量以及可用性 （Availability）得到了提升。這個變化造成了成本的增加，Google在硬件方面的風格始終是不用昂貴的高端硬件，而是在軟件層面來保證系統的可靠性及高性能，于是同年，Google開始采用自行設計的服務器來降低成本。2000年，Google開始自行設計DataCenter，采用了各種方法（例如采用其他的制冷方法來替代空調）來優化PUE（能源利用率），同時對自行設計的服務器也做了很多化。2001年，Google對Index的格式進行了修改，將所有的Index放入內存， 這次改造帶來的好處是網站的響應速度以及可支撐的訪問量得到了極大的提升。2003年，Google發表了文章Google Cluster Architecture，其Cluster結構組成為硬件LB+Index Cluster+Doc Cluster+大量廉價服務器（例如IDE硬盤、性價比高的CPU等），通過并行處理+sharding來保證在降低對硬件要求的同時，響應速度仍然很快。同年Google發表了關于Google文件系統的論文（GFS在2000年就已經上線），這篇論文很大程度也體現了Google不用昂貴硬件的風格，通過GFS+大量廉價的服務器即可存儲大量的數據。2004年，Google再次對Index的格式進行了修改，使得網站的響應速度繼續提升。同年 Google發表關于MapReduce的論文，通過MapReduce+大量廉價的服務器即可快速完成以前要使用昂貴小型機、中型機甚至是大型機才能完成的計算任務，而這顯然對于Google快速地構建索引提供了很大的幫助。2006年，Google發表了關于BigTable的論文（2003年開始上線），使得海量數據的分析能夠達到在線系統的要求了，這對于Google提升網站的響應速度起到了很大的幫助。

(編輯：小酷)