Word Break 断词

Word Break，即断词，是自然语言处理中的一个重要问题。它指的是将一个字符串（通常是一段文本）分割成若干个词语的过程。断词在分词、语义分析、信息检索等领域都有广泛应用。

问题描述

给定一个字符串 s 和一个单词词典 wordDict，请你判断是否可以将 s 分割成一个或多个使用单词词典中的单词组合而成。

例如，给定 s = "leetcode", wordDict = ["leet", "code"]，返回 true，因为 "leetcode" 可以被分割成 "leet code"。

解决方案

有多种算法可以解决 Word Break 问题，其中比较常见的包括暴力枚举、动态规划和广度优先搜索。这里我们介绍两种比较常用的算法。

暴力枚举

暴力枚举是最简单直接的算法，它枚举所有可能的分割点，并检查分割出的每个子串是否都在单词词典中出现。

def wordBreak(s, wordDict):
    def dfs(start):
        if start == len(s):
            return True
        for end in range(start + 1, len(s) + 1):
            if s[start:end] in wordDict and dfs(end):
                return True
        return False
    return dfs(0)

这个算法的时间复杂度为 $O(n^n)$，其中 $n$ 是字符串的长度。当字符串中有很多不在单词词典中的无法分割的子串时，算法的时间复杂度会非常高。

动态规划

动态规划是比较高效的算法，它利用已知信息（已分割出的子串）来推导出未知信息（还未被分割出的子串），避免了重复计算。

我们可以定义一个布尔型数组 dp，其中 dp[i] 表示字符串前 $i$ 个字符能否被分割成若干个单词词典中的单词。

显然，当 dp[0] = True（即空字符串可以被分割成一个空序列）。

接下来，我们从字符串的开始位置往后推导状态。当考虑到第 $i$ 个字符时，我们枚举它之前的所有位置 $j$，如果满足 dp[j] = True 且 $s[j:i]$ 在单词词典中出现，就说明字符串前 $i$ 个字符能够被分割成若干个单词词典中的单词。

最终，如果 dp[-1] = True，则说明整个字符串能够被分割成若干个单词词典中的单词。

def wordBreak(s, wordDict):
    dp = [False] * (len(s) + 1)
    dp[0] = True
    for i in range(1, len(s) + 1):
        for j in range(i):
            if dp[j] and s[j:i] in wordDict:
                dp[i] = True
                break
    return dp[-1]

这个算法的时间复杂度为 $O(n^2)$，其中 $n$ 是字符串的长度。可以看到，相比于暴力枚举算法，动态规划算法的时间复杂度得到了很大的优化。

总结

Word Break（断词）是自然语言处理中的一个重要问题，解决该问题对于分词、语义分析、信息检索等领域都有广泛应用。针对该问题，我们介绍了两种常用的算法，即暴力枚举和动态规划。相比于暴力枚举，动态规划算法的时间复杂度得到了很大的优化。在实际应用中，我们可以根据具体情况选择不同的算法来解决 Word Break 问题。