谷歌推出TensorFlow語言AI模型的文本庫

谷歌今天介紹了TensorFlow。 文本，用于用TensorFlow預(yù)處理語言模型的庫.. 由GoogleBrain團(tuán)隊(duì)創(chuàng)建的開源機(jī)器學(xué)習(xí)框架已經(jīng)下載了4100多萬次。

傳感器流量。 文本可以使用PIP安裝，并具有利用令牌拆分和分析文本的能力，如單詞、數(shù)字和標(biāo)點(diǎn)符號。

在發(fā)射時(shí)，TensorFlow。 文本可以識別空格、Unicode腳本和預(yù)先確定的單詞片段序列，如Google調(diào)用的詞片后綴或前綴。 word部分通常用于像BERT這樣的方法，BERT是一種語言模型的預(yù)訓(xùn)練技術(shù)，去年秋天谷歌開源。

該圖書館還配備了操作規(guī)范，n圖和序列約束標(biāo)簽，根據(jù)一個(gè)媒體帖子宣布的消息。

傳感器流量。 文本的標(biāo)記器使用Ragged張量，這是一種用于識別文本的新張量。 在今年早些時(shí)候的TensorFlow Dev峰會上，谷歌工程師MarkOmernick首次詳細(xì)介紹了對TensorFlow的Raged Tensors和Unicode支持。

這個(gè)消息是在TensorFlow2.0的測試版發(fā)布幾天后發(fā)布的。 谷歌開源框架的最新版本于3月在TensorFlow Dev峰會上發(fā)布在alpha中。 張量流程2.0使用更少的API，更深層次的Keras集成，以及對Eager執(zhí)行運(yùn)行時(shí)的改進(jìn)。

傳感器流量。 文本是谷歌在過去幾個(gè)月引入的最新專用圖書館，旨在幫助人們通過機(jī)器學(xué)習(xí)完成特定任務(wù)。 上個(gè)月發(fā)布了TensorFlow Graphics，旨在為圖形和三維模型帶來更多的深度學(xué)習(xí)。

也許最受歡迎的是嵌入式設(shè)備的TensorFlowLite，谷歌今年早些時(shí)候說，它現(xiàn)在已經(jīng)在20多億臺設(shè)備上使用。 谷歌使用TensorFlowLite在GBoard上支持語音檢測和Google Photos中的邊緣檢測。

今年3月，谷歌推出了TensorFlow隱私以及TensorFlow Federation，這是一種可以確保更好的用戶隱私保護(hù)的設(shè)備上機(jī)器學(xué)習(xí)方法.. 該公司將隱私視為開發(fā)商優(yōu)先考慮的一種方式。 TensorFlow.js和TensorFlowS wift是Java腳本和iOS開發(fā)人員框架的版本，今年春天也收到了升級。