×

Loading...

twitter 一年之技术改变

https://twitter.com/XEng/status/1717754398410240018


​​​​​​​(谷歌机翻)

这是充满工程卓越性的一年,但有时却被忽视。除了您在我们的应用程序上看到的所有可见更改之外,以下是我们在幕后所做的一些最重要的改进。

- 围绕单一产品框架整合了“为您推荐”、“关注”、“搜索”、“个人资料”、“列表”、“社区”和“探索”的技术堆栈。

- 从头开始​​彻底重建 For you 服务和排名系统,代码行数从 700K 减少到 70K,减少了 90%,计算占用量减少了 50%,帖子吞吐量增加了 80%根据请求得分。

- 统一了For you和视频的个性化和排名模型,显着提高了视频推荐质量。

- 重构了我们技术堆栈的 API 中间件层,并通过删除超过 10 万行代码和数千个未使用的内部端点并消除未采用的客户端服务来简化架构。

- 元数据获取后延迟减少了 50%,全局 API 超时错误减少了 90%。

- 阻止机器人和内容抓取的速度比 2022 年增加 37%。平均而言,我们每天阻止超过 100 万个机器人注册攻击,并且我们已将 DM 垃圾邮件减少了 95%。

- 关闭萨克拉门托数据中心并重新配置 5,200 个机架和 148,000 台服务器,每年节省超过 1 亿美元。我们总共释放了 48 兆瓦的容量并拆除了 6 万磅。在将网络梯架重新配置到其他数据中心之前。

- 优化了我们对云服务提供商的使用,并开始在本地进行更多工作。这一转变使我们每月的云成本降低了 60%。我们所做的改变包括将所有媒体/blob 工件移出云,这将我们的整体云数据存储大小减少了 60%,另外,我们成功地将云数据处理成本降低了 75%。

- 构建本地 GPU 超级计算集群,并设计、开发和交付 43.2Tbps 的新网络结构架构以支持集群。

- 扩展网络主干容量和冗余,每年节省 1,390 万美元。

- 开始自动峰值流量故障转移测试,以持续验证整个平台的可扩展性和可用性。

Sign in and Reply Report

Replies, comments and Discussions:

  • 工作学习 / 学科技术 / twitter 一年之技术改变 +1

    https://twitter.com/XEng/status/1717754398410240018


    ​​​​​​​(谷歌机翻)

    这是充满工程卓越性的一年,但有时却被忽视。除了您在我们的应用程序上看到的所有可见更改之外,以下是我们在幕后所做的一些最重要的改进。

    - 围绕单一产品框架整合了“为您推荐”、“关注”、“搜索”、“个人资料”、“列表”、“社区”和“探索”的技术堆栈。

    - 从头开始​​彻底重建 For you 服务和排名系统,代码行数从 700K 减少到 70K,减少了 90%,计算占用量减少了 50%,帖子吞吐量增加了 80%根据请求得分。

    - 统一了For you和视频的个性化和排名模型,显着提高了视频推荐质量。

    - 重构了我们技术堆栈的 API 中间件层,并通过删除超过 10 万行代码和数千个未使用的内部端点并消除未采用的客户端服务来简化架构。

    - 元数据获取后延迟减少了 50%,全局 API 超时错误减少了 90%。

    - 阻止机器人和内容抓取的速度比 2022 年增加 37%。平均而言,我们每天阻止超过 100 万个机器人注册攻击,并且我们已将 DM 垃圾邮件减少了 95%。

    - 关闭萨克拉门托数据中心并重新配置 5,200 个机架和 148,000 台服务器,每年节省超过 1 亿美元。我们总共释放了 48 兆瓦的容量并拆除了 6 万磅。在将网络梯架重新配置到其他数据中心之前。

    - 优化了我们对云服务提供商的使用,并开始在本地进行更多工作。这一转变使我们每月的云成本降低了 60%。我们所做的改变包括将所有媒体/blob 工件移出云,这将我们的整体云数据存储大小减少了 60%,另外,我们成功地将云数据处理成本降低了 75%。

    - 构建本地 GPU 超级计算集群,并设计、开发和交付 43.2Tbps 的新网络结构架构以支持集群。

    - 扩展网络主干容量和冗余,每年节省 1,390 万美元。

    - 开始自动峰值流量故障转移测试,以持续验证整个平台的可扩展性和可用性。

    • 可怕
    • 这机翻水平,够垃圾的,怪不得股票跌成狗,一点儿都不多。
    • 据说裁了95%
    • Reduced 90% of lines of code? OMG. Rolia's core engine has been the same one, and has been perfectly running since ever. +3
    • 不管怎么说,推特作为平台,现在不因为“疫苗是阴谋论”,“大选中有阴谋”………而封号了。这是最大的进步 +1