“产品……”
王小船暗暗叹气。
单看产品，微点搜索也不如百度啊！唯一的优势，就是微点的配套设施更🛌多，有浏览器，有导航网，有输入法，有音🝙乐平台等等。🂉🌽
周不器笑📊了笑，“这点信心都没有🀩⛃？还是说你承认技术不行？”
王小船从小就是计算机天才，在技术方面从未服过谁，摇头道🚄：“搜索引擎的架构高度复杂，有抓取器、渲染器、dns解析、redis内存数据库、url队列、种子队列、响应队列、url提取、url过滤、重复url检测等等，是一个技术性很强的庞🚇👕大工程。我自认为微点的架构不比百度差，可一些技术细🐡节，还需要时间。”
周不器笑着说：“我知道搜索技术很高端，可随着时间的推移，搜索技术就会走下神坛，变为比较大众的技术。最根本的技术，还是大数据处理👞🍎。”
在🟐🜗大方🕃向的理论上，周大老板比一些专业人士还强。
王小船深以为然，“是📈😶啊，大数据的处理。百度和谷歌的差距，微点💩和百度的差距，最主要的就是体现在我们在数据处理时的效率问题。按理来说，通过爬虫技术，可以抓取到互联网上所有信息。可相关信息太多了，数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来，是搜索引擎最大的技术难题。”
周不器打了个响指，笑道：“巧了，我这次过来，就是想🌝⛬问问你爬虫的事。”
王小船有些费解。
周大老板这个技术外行，怎么🏙还关心起技术细节来了？
就缓缓的解释道：“爬虫是搜索的基础工具，爬虫搜信息……嗯，就跟使用浏览器上网差不多，都是先向服务器发送请求，获得返回的页面，然后筛选出有价值的内容。如果时间足够长计算量足够大，使用爬虫工具，就可以把互联网上的所有信🖁🏬息都搜索一遍。”
见周大老板似乎很感兴趣的样子。
王小船就拿过纸笔，很快速的写👎🇪下了一行代码，“假如说我们🚄要爬取微知网的信息，用这行代码就可以实现了🌬🂍🍡。”
周不器拿过代码一看，嗯，是很简单。
headers={‘us🐓⛃e-agent’:‘chaiknowstheb🈩ot’，}
r=requests.gets“
html=r.text
printhtml
难怪说3月份🛓的时候，北科🐓⛃有两个计算机系🄐☖⛄的大学生被开除了。
这技术好像是不太难。
因为大四写论文，可用谷🜽歌、百👎🇪度、微点等搜索引擎，却搜不到别人写的相关论文。怎么办？就有计算机🐕⛑🙭系的学生，自己写了段爬虫算法。
然后成功的爬取到了几百篇相关论文。