雖然人工智慧內容不會很快佔領互聯網，但我想親身體驗使用人工智慧創建內容的感覺。具體來說，我想了解我可以從這四種自然語言生成模型的輸出中獲得的品質類型：
- GPT-2
- 格羅佛
- MarketMuse NLG 技術
- XL網
因此，我開始使用這些 NLG 模型創建以下主題的內容：
- 胰高血糖素作為一種非 香港電報數據 侵入性糖尿病治療方法
- 手機成癮
- 如何種植辣椒
- 說故事的力量
- 如何成為藥物濫用社會工作者
然後我根據這些標準評估每個結果：
- MarketMuse 內容評分（決定內容的綜合程度）
- MarketMuse 字數統計（MarketMuse 分析所有競爭內容以確定專家如何解決給定主題）
- 文法總體得分（了解使內容可發布所需的編輯量）
- 獨特的單字（衡量詞彙多樣性）
- 生僻字（衡量詞彙深度）
- 單字和句子的長度（評估複雜程度）
- Flesch Reading-Ease（確定可讀性是否符合目標受眾）
請注意，這些不是資料科學家所 行銷自動化在房地產產業的實施 依賴的語言建模基準。相反，它們是內容行銷人員在評估提交內容（無論是否為人類）時會考慮的現實世界指標。
結果總結
以下是透過四個自然語言生成模型運行五個主題的結果，以及一些評論。
MarketMuse 內容評分
MarketMuse NLG 技術是唯一能夠始終達到或超過目標內容分數的模型。我們的模型旨在產生主題豐富、全面且切題的輸出。
其他型號？顯然並非如此。在一種情況下，GPT-2 完全切換到另一個主題，之後我終止了輸出。
你是否遇過一個喜歡滔滔不絕但內容很少的人？內容得分是衡量這一點的一種方法。 GROVER、GPT-2 和 XLNet 相當於那個人的 AI！
字數統計
MarketMuse NLG 技術是唯一能 中國資料庫 夠持續產生長度超過 1,000 個單字的內容的 NLG 模型。其他模型很難寫出幾百個字以上的內容。
雖然 GROVER 總是會產生至少 500 多個單字的完整輸出，但 GPT-2 和 XLNet 不同。有時 XLNet 甚至無法產生 100 個單字。當主題發生劇烈變化或過度重複時，GPT-2 和 XLNet 的輸出就會終止。在重複的情況下，我應用了「三振出局」規則。
文法總分
Grammarly 的總體分數是一種快速確定將草稿轉變成適合出版的精美文章所需的編輯水平的方法。 MarketMuse NLG Technology 和 GROVER 都取得了很高的總體得分，這意味著寫作水平相當不錯，需要一些基本的編輯。 GPT-2 和 XLNet 的表現不佳，特別是考慮到它們的字數較少。這些模型的輸出需要大量的編輯工作才能呈現。
獨特的詞語
GROVER 在使用各種詞彙方面始終表現出色。不幸的是，它沒有轉化為對任何主題的詳細討論，如其較低的內容得分所示。
生僻字
MarketMuse NLG 技術擁有相對較深的詞彙量，從所有主題中生僻詞的比例較高就可以看出。請注意，在查看獨特詞和稀有詞的百分比時，所有主題模型的運行均低於所有 Grammarly 使用者的平均水平。
單字和句子的長度
MarketMuse NLG Technology 和 GROVER 傾向於使用比 GPT-2 或 XLNet 更長的詞彙。在所有主題中，MarketMuse NLG Technology 始終使用最短的句子。 GPT-2 除一處例外外，使用了明顯較長的句子，因此可能需要額外的編輯工作。
Flesch 輕鬆閱讀
Flesch Reading-Ease 經過計算，得分較高的內容被認為更容易閱讀。在納入此指標時需要小心，因為越簡單不一定越好。應用 Flesch Reading-Ease 面臨許多挑戰，但在本例中，我想看看可讀性是否適合目標受眾。
以胰高血糖素作為非侵入性糖尿病治療此主題為例。我希望該主題的受眾接受過大學教育，並為該閱讀水平創建內容。另一方面，如何種植辣椒是一個適合更廣泛受眾的話題。因此，內容應該更容易閱讀。除了一些奇怪的例外之外，通常都會發生這種情況。
自然語言生成模式的背景
以下是有關本研究中使用的四種 NLG 模型的一些背景資訊以及選擇它們的原因。
MarketMuse NLG 技術
MarketMuse NLG 技術（即將推出）是一種 NLG 模型，可根據一組規範產生長格式內容（1,000 多個單字）。它保持沒有範本或抄襲的敘述，同時遵守和驗證相關內容簡介中的其他指標。
內容簡介（點擊查看範例）包含作者創建一篇綜合文章所需的所有內容，包括副標題（用於結構）、要提出的問題和要解決的主題。將相同的內容簡介提供給我們的自然語言生成模型以建立初始草稿。
這一明確的方向使 MarketMuse NLG 技術比其他 NLG 型號具有固有的優勢，因為其他 NLG 型號提供的控制很少（如果有的話）。這樣想吧。人類作家很少在沒有任何指導的情況下創作出出色的作品。為什麼你會期待與人工智慧不同的東西？
在這項研究中，我設法從我們的數據科學團隊中獲得了一些樣本，而他們並不知道！