c++ - 从给定的 Boost token_iterator 识别原始字符串中的位置

Question

如果字符串已使用 Boost 分词器处理过，是否有可能获得给定分词迭代器指向的原始字符串中的位置:

boost:tokenizer<> tok( "this is the original string" );
for(tokenizer<>::iterator it=tok.begin(); it!=tok.end();++it)
{
    std::string strToken = *it;
    int charPos = it.?                /* IS THERE A METHOD? */
}

我意识到我可以创建一个特定的 char_separator，其中包含一个已定义的“保留分隔符”列表，并指定 keep_empty_tokens 以尝试自己跟踪迭代器的进程，但我希望有一种仅使用迭代器本身的更简单的方法。

Answer 1

这似乎是您要查找的内容:

#include <string>
#include <iostream>
#include <boost/tokenizer.hpp>

int main()
{
  typedef boost::tokenizer<> tok_t;

  std::string const s = "this is the original string";
  tok_t const tok(s);
  for (tok_t::const_iterator it = tok.begin(), it_end = tok.end(); it != it_end; ++it)
  {
    std::string::difference_type const offset = it.base() - s.begin() - it->size();
    std::cout << offset << "\t::\t" << *it << '\n';
  }
}

Online Demo