7 月初埃隆馬斯克帶領的原已經有搜 X 曾屏蔽谷歌搜索爬蟲抓取內容，這導致谷歌搜索無法在用戶搜索 X 用戶名時展示最新的推特推文摘要，不過后面 X 對谷歌解封了。屏蔽蘇州包夜外圍（電話微信365-*2895）一二線城市模特空姐網紅學生上門

但其他搜索引擎就沒那么幸運了，除谷如果使用 site:twitter.com 指令在必應搜索上查詢的歌外話，你會發現必應收錄的索引 X 內容只有 12.1 萬條，而谷歌搜索則是擎阻 4.22 億條。

發生了什么？止數抓原因是 X 屏蔽了除谷歌搜索以外的所有搜索引擎爬蟲，至于原因嘛也很簡單，據被蘇州包夜外圍（電話微信365-*2895）一二線城市模特空姐網紅學生上門埃隆馬斯克不想 X 的藍點數據被其他人抓取拿去訓練 AI，所有屏蔽了諸如 Bingbot、原已經有搜MSNbot、推特Yandex 等搜索引擎爬蟲。屏蔽

那谷歌為什么是例外的呢？估計馬斯克都要罵街了，因為之前有傳聞稱杰克多西時代的歌外推特與谷歌達成了相關協議，允許谷歌抓取內容，目前這一協議尚未到期。

藍點網通過互聯網檔案館排查發現，X 是在 2023 年 7 月 24 日執行屏蔽操作的，更新后的 robots.txt 文件僅允許 Googlebot 抓取內容，其他所有爬蟲均被封禁。

所以現在諸如必應搜索上的推特內容極少也就是這個原因，后面估計索引數量會進一步降低，如果谷歌的協議到期了估計內容也都會消失。

不過 robots.txt 畢竟只是君子協定 (這不是法律規定，之前某大數字被某度起訴抓取某度百科內容時，就辯稱這是 robots.txt 只是行業管理而非法律規定)，所以仍然有各種來路不明的爬蟲試圖抓取推特上的內容拿去賣數據。

對于這種情況埃隆馬斯克也早有準備，在協議規定未經同意獲取內容屬于違反協議的行為，馬斯克對這些未經同意的抓取行為直接起訴。

附 X robots.txt 的最新內容：

# Google Search Engine Robot# ==========================User-agent: GooglebotAllow: /?_escaped_fragment_Allow: /*?lang=Allow: /hashtag/*?src=Allow: /search?q=%23Allow: /i/api/Disallow: /search/realtimeDisallow: /search/usersDisallow: /search/*/gridAllow: /*?ref_src=Allow: /*?src=Disallow: /*?Disallow: /*/followersDisallow: /*/followingDisallow: /account/deactivatedDisallow: /settings/deactivated# 下面的指令代表禁止搜索爬蟲抓取內容# ========================================================User-agent: *Disallow: /

• ·恐怖冒險游戲《失落的畫廊》上架Steam商店頁面預計于9月發售
• ·兩款乙女名做《劍為君舞》《百花百狼》即將進駐一整整一
• ·臺灣中央大學發布福衛五號上的“太空魔方”研究成果
• ·第三人稱動做新游《The Moon Hell》上架Steam 暗中胡念風
• ·《地球隕落》上市宣傳片放出 將來DLC全免費
• ·直擊樂播CJ2016：大小屏幕隨意切換 手游視效也可以很震撼
• ·俄羅斯國家委員會已在拜科努爾確定國際空間站的新成員名單
• ·傳講傳聞：《任務吸喚:當代戰役2》或將推出僵尸形式
• ·《燧石槍：黎明之圍》開場25分鐘實機演示視頻分享
• ·齊新游戲體驗《決斗下我婦》足游新黃金球輿圖去襲
• ·《問講》仄常任務小技能 下效省時又省力
• ·小米百貨再出新品 到底是個錘子？
• ·《街頭籃球》暑期版本福利全面升級 異次元鳳凰免費領
• ·印度最強水箭收射勝利：一箭36星
• ·《臥龍：彼蒼隕降》兵器“槍”真機演示 招式富麗
• ·開博爾4K藍光機亮相SMA國際漂移嘉年華點燃盛夏