今天抽点时间讲讲环境的问题，对于算法工程师而言，开发环境往往都是最容易被轻视，但是最容易被拖后腿的东西，这个文章主要讲讲如何依据spark环境搭建jupyter的算法开发环境。

向量数据库Faiss是Facebook AI研究院开发的一种高效的相似性搜索和聚类的库。它能够快速处理大规模数据，并且支持在高维空间中进行相似性搜索。Faiss的工作，就是把我们自己的候选向量集封装成一个index数据库，它可以加速我们检索相似向量Top K的过程，一些最有用的算法是在 GPU 上实现的。安装pip install faiss-cpupip install faiss-gpu通过上

提到数据抓取，对于老司机来讲一定觉得十分简单，请给我10行代码的空间，稳稳妥妥的把数据抓到本地（没错，这是犯法的），今天咱们看的是SSE推送接口型的数据抓取，你会发现这部分接口你直接使用requests.get这类方法不失败也不报错，因为过程中不会有终止状态，自然也只能傻等200的信号。SSE先来介绍SSE是个什么东西。SSE （ Server-sent Events ）是 WebSocket 的