Lyn
조회 수 43022 추천 수 0 댓글 0
Atachment
첨부 '2'
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

tokenizer 는 말 그대로 Token 단위로 문자열을 쪼개는 기능을 한다.

토큰은 사전상의 의미로는 버스탈때 내는 동전 비슷한것 (....) "의미를 갖는 최소한의 문자열" 의 의미를 갖는다. 당연히 여기에서는 후자의 의미다.

 

c 라이브러리에서는 strtok 이 제공 되지만 이는 thread 에서 사용 할 수 없다(전역변수를 사용 하기 때문에)

VCL 에서는 TStringList 가 비슷 한 기능을 제공 하고 MFC에서도 기억은 안나지만 (...) 비슷한 기능을 제공 한다.

 

뭐 항상 이야기 하는 거지만 boost 는 플랫폼을 가리지 않는 다는 것 만으로도 충분한 가치가 있다 : )

그럼 간단하게 사용 예제만 보도록 하자.

 

첫번째 예제 소스 나간다.

 

#include<boost/tokenizer.hpp>

#include<string>

#include<iostream>

 

using namespace std;

using namespace boost;

 

typedef tokenizer<char_separator<char> > TOKC;

int main(int argc, _TCHAR* argv[])

{

         string BorlandUser = "Lyn/Yull/TestCode/Imp//bkyang/4000king/RyuJT/gilgil/esniper/civilian";        

         char_separator<char> sep("/",""); 

        

         TOKC tok(BorlandUser, sep);       

 

         for (TOKC::iterator i = tok.begin(); i != tok.end(); ++i)

         {

                  cout << *i << endl;

         }

         return 0;

}



 

문자열을 '/' 단위로 쪼개기로 하자.

그럼 결과는 아래와 같다.

 

1.png

잘 쪼개 졋다. 그런데 한가지 주의해서 볼 점이 있는데 빈 토큰은 나타나지 않는 다는 것이다.

빈 토큰도 살리기 위해서는 separator 의 생성자에 keep_empty_tokens 옵션을 주면 된다.

 

두번째 예제를 보자

#include<boost/tokenizer.hpp>

#include<string>

#include<iostream>

 

using namespace std;

using namespace boost;

 

typedef tokenizer<char_separator<char> > TOKC;

int main(int argc, _TCHAR* argv[])

{

         string BorlandUser = "Lyn/Yull/TestCode/Imp//bkyang/4000king/RyuJT/gilgil/esniper/civilian";        

         char_separator<char> sep("/","", keep_empty_tokens);

        

         TOKC tok(BorlandUser, sep);       

 

         for (TOKC::iterator i = tok.begin(); i != tok.end(); ++i)

         {

                  cout << *i << endl;

         }

         return 0;

}

 

2.png

 

빈 토큰도 구해진 것을 볼 수 있다 : )

참여해 주신 볼랜드(코드기어? 엠바카데로?) 유저분에게 심심한 감사를 표하면서 끝내겠다 (__)



PS. 유니코드 일 경우 typedef tokenizer<char_separator<wchar_t>, wstring::const_iterator, wstring> TOKC; 와 같이 선언하는것이 편리하다

?

  1. Delphi 2009 Generic 살펴보기

  2. No Image 05Oct
    by Lyn
    2008/10/05 by Lyn
    Views 38495 

    [TR1 살펴보기] 1. Random

  3. No Image 05Oct
    by Lyn
    2008/10/05 by Lyn
    Views 37739 

    [TR1 살펴보기] 2. Array

  4. No Image 05Oct
    by Lyn
    2008/10/05 by Lyn
    Views 35782 

    [TR1 살펴보기] 3. UnOrdered Containers

  5. No Image 22Oct
    by Lyn
    2008/10/22 by Lyn
    Views 36911 

    컨테이너가 파괴될 때 소유한 객체 자동으로 파괴하기

  6. 프로그래밍 대회 알고리즘 파트 문제

  7. No Image 11May
    by Lyn
    2009/05/11 by Lyn
    Views 37260 

    [Boost 살펴보기] 1. pool

  8. No Image 11May
    by Lyn
    2009/05/11 by Lyn
    Views 36891 

    [Boost 살펴보기] 2. any

  9. No Image 11May
    by Lyn
    2009/05/11 by Lyn
    Views 44372 

    [Boost 살펴보기] 3. timer

  10. No Image 11May
    by Lyn
    2009/05/11 by Lyn
    Views 36888 

    [Boost 살펴보기] 4. multi_array

  11. No Image 12May
    by Lyn
    2009/05/12 by Lyn
    Views 41544 

    [Boost 살펴보기] 5. lexical_cast

  12. No Image 12May
    by Lyn
    2009/05/12 by Lyn
    Views 41829 

    [Boost 살펴보기] 6. String Algorithm1

  13. No Image 20May
    by Lyn
    2009/05/20 by Lyn
    Views 42269 

    [Boost 살펴보기] 7. String Algorithm2

  14. No Image 11Jun
    by Lyn
    2009/06/11 by Lyn
    Views 43022 

    [Boost 살펴보기] 8. Tokenizer

  15. C++ new 연산자의 진실

  16. Compare, Merge 툴 간의 비교. - 작성중

  17. No Image 03Jan
    by Lyn
    2010/01/03 by Lyn
    Views 39222 

    [개인자료] 윈도우 재설치 후 설치 하는 프로그램

  18. No Image 07Feb
    by Lyn
    2010/02/07 by Lyn
    Views 39808 

    [잡설]델파이 / C++ Builder 하는 사람들의 문제점.

  19. No Image 19Feb
    by Lyn
    2010/02/19 by Lyn
    Views 34488 

    [잡설] 앱스토어의 유행. 프로그래머에겐 과연?

  20. No Image 02Mar
    by Lyn
    2010/03/02 by Lyn
    Views 38019 

    Boost 에서 자기 자신의 shared_ptr 리턴하기

Board Pagination Prev 1 2 3 4 5 6 7 ... 8 Next
/ 8