Meta部署新網(wǎng)絡(luò)爬蟲機器人，為其AI模型收集大量數(shù)據(jù)

近日，Meta公司發(fā)布了一款新的網(wǎng)絡(luò)爬蟲，用于在互聯(lián)網(wǎng)上搜索并收集大量數(shù)據(jù)，為其人工智能模型提供支持。據(jù)三家追蹤網(wǎng)絡(luò)抓取器的公司稱，Meta公司的新網(wǎng)絡(luò)爬蟲機器人Meta External Agent，類似于OpenAI的GPTBot，可以抓取網(wǎng)絡(luò)上的人工智能訓(xùn)練數(shù)據(jù)，例如新聞文章中的文本或在線討論組中的對話。新爬蟲的存在表明Meta龐大的數(shù)據(jù)庫可能已經(jīng)不夠用了，因為該公司不斷致力于更新Llama和擴展Meta AI，通常需要新的和高質(zhì)量的培訓(xùn)數(shù)據(jù)來持續(xù)改進功能。