xref: /aoo4110/main/idl/inc/lex.hxx (revision b1cdbd2c)
1*b1cdbd2cSJim Jagielski /**************************************************************
2*b1cdbd2cSJim Jagielski  *
3*b1cdbd2cSJim Jagielski  * Licensed to the Apache Software Foundation (ASF) under one
4*b1cdbd2cSJim Jagielski  * or more contributor license agreements.  See the NOTICE file
5*b1cdbd2cSJim Jagielski  * distributed with this work for additional information
6*b1cdbd2cSJim Jagielski  * regarding copyright ownership.  The ASF licenses this file
7*b1cdbd2cSJim Jagielski  * to you under the Apache License, Version 2.0 (the
8*b1cdbd2cSJim Jagielski  * "License"); you may not use this file except in compliance
9*b1cdbd2cSJim Jagielski  * with the License.  You may obtain a copy of the License at
10*b1cdbd2cSJim Jagielski  *
11*b1cdbd2cSJim Jagielski  *   http://www.apache.org/licenses/LICENSE-2.0
12*b1cdbd2cSJim Jagielski  *
13*b1cdbd2cSJim Jagielski  * Unless required by applicable law or agreed to in writing,
14*b1cdbd2cSJim Jagielski  * software distributed under the License is distributed on an
15*b1cdbd2cSJim Jagielski  * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
16*b1cdbd2cSJim Jagielski  * KIND, either express or implied.  See the License for the
17*b1cdbd2cSJim Jagielski  * specific language governing permissions and limitations
18*b1cdbd2cSJim Jagielski  * under the License.
19*b1cdbd2cSJim Jagielski  *
20*b1cdbd2cSJim Jagielski  *************************************************************/
21*b1cdbd2cSJim Jagielski 
22*b1cdbd2cSJim Jagielski 
23*b1cdbd2cSJim Jagielski 
24*b1cdbd2cSJim Jagielski #ifndef _LEX_HXX
25*b1cdbd2cSJim Jagielski #define _LEX_HXX
26*b1cdbd2cSJim Jagielski 
27*b1cdbd2cSJim Jagielski #include <hash.hxx>
28*b1cdbd2cSJim Jagielski #include <tools/gen.hxx>
29*b1cdbd2cSJim Jagielski #include <tools/stream.hxx>
30*b1cdbd2cSJim Jagielski 
31*b1cdbd2cSJim Jagielski /******************** enum ***********************************************/
32*b1cdbd2cSJim Jagielski enum SVTOKEN_ENUM { SVTOKEN_EMPTY,      SVTOKEN_COMMENT,
33*b1cdbd2cSJim Jagielski                     SVTOKEN_INTEGER,    SVTOKEN_STRING,
34*b1cdbd2cSJim Jagielski                     SVTOKEN_BOOL,       SVTOKEN_IDENTIFIER,
35*b1cdbd2cSJim Jagielski                     SVTOKEN_CHAR,       SVTOKEN_RTTIBASE,
36*b1cdbd2cSJim Jagielski                     SVTOKEN_EOF,		SVTOKEN_HASHID };
37*b1cdbd2cSJim Jagielski 
38*b1cdbd2cSJim Jagielski /******************** class SvToken **************************************/
39*b1cdbd2cSJim Jagielski class BigInt;
40*b1cdbd2cSJim Jagielski class SvToken
41*b1cdbd2cSJim Jagielski {
42*b1cdbd2cSJim Jagielski friend class SvTokenStream;
43*b1cdbd2cSJim Jagielski     sal_uLong               	nLine, nColumn;
44*b1cdbd2cSJim Jagielski     SVTOKEN_ENUM        	nType;
45*b1cdbd2cSJim Jagielski     ByteString              	aString;
46*b1cdbd2cSJim Jagielski     union
47*b1cdbd2cSJim Jagielski 	{
48*b1cdbd2cSJim Jagielski         sal_uLong           	nLong;
49*b1cdbd2cSJim Jagielski         sal_Bool            	bBool;
50*b1cdbd2cSJim Jagielski         char            	cChar;
51*b1cdbd2cSJim Jagielski //	    SvRttiBase *    	pComplexObj;
52*b1cdbd2cSJim Jagielski 	    SvStringHashEntry *	pHash;
53*b1cdbd2cSJim Jagielski     };
54*b1cdbd2cSJim Jagielski public:
55*b1cdbd2cSJim Jagielski             SvToken();
56*b1cdbd2cSJim Jagielski             SvToken( const SvToken & rObj );
57*b1cdbd2cSJim Jagielski             SvToken( sal_uLong n );
58*b1cdbd2cSJim Jagielski             SvToken( SVTOKEN_ENUM nTypeP, sal_Bool b );
59*b1cdbd2cSJim Jagielski             SvToken( char c );
60*b1cdbd2cSJim Jagielski             SvToken( SVTOKEN_ENUM nTypeP, const ByteString & rStr );
61*b1cdbd2cSJim Jagielski //            SvToken( SvRttiBase * pComplexObj );
62*b1cdbd2cSJim Jagielski             SvToken( SVTOKEN_ENUM nTypeP );
63*b1cdbd2cSJim Jagielski 
64*b1cdbd2cSJim Jagielski     SvToken & operator = ( const SvToken & rObj );
65*b1cdbd2cSJim Jagielski 
66*b1cdbd2cSJim Jagielski     ByteString          GetTokenAsString() const;
GetType() const67*b1cdbd2cSJim Jagielski     SVTOKEN_ENUM    GetType() const { return nType; }
68*b1cdbd2cSJim Jagielski 
SetLine(sal_uLong nLineP)69*b1cdbd2cSJim Jagielski     void        SetLine( sal_uLong nLineP )     { nLine = nLineP;       }
GetLine() const70*b1cdbd2cSJim Jagielski     sal_uLong       GetLine() const             { return nLine;         }
71*b1cdbd2cSJim Jagielski 
SetColumn(sal_uLong nColumnP)72*b1cdbd2cSJim Jagielski     void        SetColumn( sal_uLong nColumnP ) { nColumn = nColumnP;   }
GetColumn() const73*b1cdbd2cSJim Jagielski     sal_uLong       GetColumn() const           { return nColumn;       }
74*b1cdbd2cSJim Jagielski 
IsEmpty() const75*b1cdbd2cSJim Jagielski     sal_Bool        IsEmpty() const     { return nType == SVTOKEN_EMPTY; }
IsComment() const76*b1cdbd2cSJim Jagielski     sal_Bool        IsComment() const   { return nType == SVTOKEN_COMMENT; }
IsInteger() const77*b1cdbd2cSJim Jagielski     sal_Bool        IsInteger() const   { return nType == SVTOKEN_INTEGER; }
IsString() const78*b1cdbd2cSJim Jagielski     sal_Bool        IsString() const    { return nType == SVTOKEN_STRING; }
IsBool() const79*b1cdbd2cSJim Jagielski     sal_Bool        IsBool() const      { return nType == SVTOKEN_BOOL; }
IsIdentifierHash() const80*b1cdbd2cSJim Jagielski     sal_Bool        IsIdentifierHash() const
81*b1cdbd2cSJim Jagielski                 { return nType == SVTOKEN_HASHID; }
IsIdentifier() const82*b1cdbd2cSJim Jagielski     sal_Bool        IsIdentifier() const
83*b1cdbd2cSJim Jagielski 				{
84*b1cdbd2cSJim Jagielski 					return nType == SVTOKEN_IDENTIFIER
85*b1cdbd2cSJim Jagielski 							|| nType == SVTOKEN_HASHID;
86*b1cdbd2cSJim Jagielski 				}
IsChar() const87*b1cdbd2cSJim Jagielski     sal_Bool        IsChar() const      { return nType == SVTOKEN_CHAR; }
IsRttiBase() const88*b1cdbd2cSJim Jagielski     sal_Bool        IsRttiBase() const  { return nType == SVTOKEN_RTTIBASE; }
IsEof() const89*b1cdbd2cSJim Jagielski     sal_Bool        IsEof() const       { return nType == SVTOKEN_EOF; }
90*b1cdbd2cSJim Jagielski 
GetString() const91*b1cdbd2cSJim Jagielski     const ByteString & GetString() const
92*b1cdbd2cSJim Jagielski 				{
93*b1cdbd2cSJim Jagielski 					return IsIdentifierHash()
94*b1cdbd2cSJim Jagielski 						? pHash->GetName()
95*b1cdbd2cSJim Jagielski 						: aString;
96*b1cdbd2cSJim Jagielski 				}
GetNumber() const97*b1cdbd2cSJim Jagielski     sal_uLong       GetNumber() const       { return nLong;         }
GetBool() const98*b1cdbd2cSJim Jagielski     sal_Bool        GetBool() const         { return bBool;         }
GetChar() const99*b1cdbd2cSJim Jagielski     char        GetChar() const         { return cChar;         }
100*b1cdbd2cSJim Jagielski //    SvRttiBase *GetObject() const       { return pComplexObj;   }
101*b1cdbd2cSJim Jagielski 
SetHash(SvStringHashEntry * pHashP)102*b1cdbd2cSJim Jagielski     void        SetHash( SvStringHashEntry * pHashP )
103*b1cdbd2cSJim Jagielski 				{ pHash = pHashP; nType = SVTOKEN_HASHID; }
HasHash() const104*b1cdbd2cSJim Jagielski     sal_Bool        HasHash() const
105*b1cdbd2cSJim Jagielski                 { return nType == SVTOKEN_HASHID; }
GetHash() const106*b1cdbd2cSJim Jagielski     SvStringHashEntry * GetHash() const { return pHash; }
Is(SvStringHashEntry * pEntry) const107*b1cdbd2cSJim Jagielski     sal_Bool        Is( SvStringHashEntry * pEntry ) const
108*b1cdbd2cSJim Jagielski                 { return IsIdentifierHash() && pHash == pEntry; }
109*b1cdbd2cSJim Jagielski };
110*b1cdbd2cSJim Jagielski 
SvToken()111*b1cdbd2cSJim Jagielski inline SvToken::SvToken()
112*b1cdbd2cSJim Jagielski     : nType( SVTOKEN_EMPTY ) {}
113*b1cdbd2cSJim Jagielski 
SvToken(sal_uLong n)114*b1cdbd2cSJim Jagielski inline SvToken::SvToken( sal_uLong n )
115*b1cdbd2cSJim Jagielski     : nType( SVTOKEN_INTEGER ), nLong( n ) {}
116*b1cdbd2cSJim Jagielski 
SvToken(SVTOKEN_ENUM nTypeP,sal_Bool b)117*b1cdbd2cSJim Jagielski inline SvToken::SvToken( SVTOKEN_ENUM nTypeP, sal_Bool b )
118*b1cdbd2cSJim Jagielski     : nType( nTypeP ), bBool( b ) {}
119*b1cdbd2cSJim Jagielski 
SvToken(char c)120*b1cdbd2cSJim Jagielski inline SvToken::SvToken( char c )
121*b1cdbd2cSJim Jagielski     : nType( SVTOKEN_CHAR ), cChar( c ) {}
122*b1cdbd2cSJim Jagielski 
SvToken(SVTOKEN_ENUM nTypeP,const ByteString & rStr)123*b1cdbd2cSJim Jagielski inline SvToken::SvToken( SVTOKEN_ENUM nTypeP, const ByteString & rStr )
124*b1cdbd2cSJim Jagielski     : nType( nTypeP ), aString( rStr ) {}
125*b1cdbd2cSJim Jagielski 
126*b1cdbd2cSJim Jagielski /*
127*b1cdbd2cSJim Jagielski inline SvToken::SvToken( SvRttiBase * pObj )
128*b1cdbd2cSJim Jagielski     : nType( SVTOKEN_RTTIBASE ), pComplexObj( pObj )
129*b1cdbd2cSJim Jagielski 		{ pObj->AddRef(); }
130*b1cdbd2cSJim Jagielski */
131*b1cdbd2cSJim Jagielski 
SvToken(SVTOKEN_ENUM nTypeP)132*b1cdbd2cSJim Jagielski inline SvToken::SvToken( SVTOKEN_ENUM nTypeP )
133*b1cdbd2cSJim Jagielski : nType( nTypeP ) {}
134*b1cdbd2cSJim Jagielski 
135*b1cdbd2cSJim Jagielski DECLARE_LIST( SvTokenList, SvToken * )
136*b1cdbd2cSJim Jagielski 
137*b1cdbd2cSJim Jagielski /******************** class SvTokenStream ********************************/
138*b1cdbd2cSJim Jagielski class SvTokenStream
139*b1cdbd2cSJim Jagielski {
140*b1cdbd2cSJim Jagielski     sal_uLong       nLine, nColumn;
141*b1cdbd2cSJim Jagielski     int			nBufPos;
142*b1cdbd2cSJim Jagielski     int         c;          // naechstes Zeichen
143*b1cdbd2cSJim Jagielski     CharSet     nCharSet;
144*b1cdbd2cSJim Jagielski     char *      pCharTab;   // Zeiger auf die Konverierungstabelle
145*b1cdbd2cSJim Jagielski     sal_uInt16      nTabSize;   // Tabulator Laenge
146*b1cdbd2cSJim Jagielski 	ByteString		aStrTrue;
147*b1cdbd2cSJim Jagielski 	ByteString		aStrFalse;
148*b1cdbd2cSJim Jagielski 	sal_uLong		nMaxPos;
149*b1cdbd2cSJim Jagielski 
150*b1cdbd2cSJim Jagielski     SvFileStream *  pInStream;
151*b1cdbd2cSJim Jagielski     SvStream &      rInStream;
152*b1cdbd2cSJim Jagielski     String          aFileName;
153*b1cdbd2cSJim Jagielski     SvTokenList     aTokList;
154*b1cdbd2cSJim Jagielski 	SvToken *		pCurToken;
155*b1cdbd2cSJim Jagielski 
156*b1cdbd2cSJim Jagielski     void        InitCtor();
157*b1cdbd2cSJim Jagielski 
158*b1cdbd2cSJim Jagielski     ByteString      	aBufStr;
159*b1cdbd2cSJim Jagielski     int         	GetNextChar();
GetFastNextChar()160*b1cdbd2cSJim Jagielski     int         	GetFastNextChar()
161*b1cdbd2cSJim Jagielski 					{
162*b1cdbd2cSJim Jagielski                         return aBufStr.GetChar((sal_uInt16)nBufPos++);
163*b1cdbd2cSJim Jagielski 					}
164*b1cdbd2cSJim Jagielski 
165*b1cdbd2cSJim Jagielski 	void			FillTokenList();
166*b1cdbd2cSJim Jagielski     sal_uLong       	GetNumber();
167*b1cdbd2cSJim Jagielski     sal_Bool        	MakeToken( SvToken & );
IsEof() const168*b1cdbd2cSJim Jagielski 	sal_Bool			IsEof() const { return rInStream.IsEof(); }
SetMax()169*b1cdbd2cSJim Jagielski 	void			SetMax()
170*b1cdbd2cSJim Jagielski 					{
171*b1cdbd2cSJim Jagielski 						sal_uLong n = Tell();
172*b1cdbd2cSJim Jagielski 						if( n > nMaxPos )
173*b1cdbd2cSJim Jagielski 							nMaxPos = n;
174*b1cdbd2cSJim Jagielski 					}
CalcColumn()175*b1cdbd2cSJim Jagielski 	void			CalcColumn()
176*b1cdbd2cSJim Jagielski 					{
177*b1cdbd2cSJim Jagielski 						// wenn Zeilenende berechnung sparen
178*b1cdbd2cSJim Jagielski 						if( 0 != c )
179*b1cdbd2cSJim Jagielski 						{
180*b1cdbd2cSJim Jagielski 							sal_uInt16 n = 0;
181*b1cdbd2cSJim Jagielski 							nColumn = 0;
182*b1cdbd2cSJim Jagielski 							while( n < nBufPos )
183*b1cdbd2cSJim Jagielski                                 nColumn += aBufStr.GetChar(n++) == '\t' ? nTabSize : 1;
184*b1cdbd2cSJim Jagielski 						}
185*b1cdbd2cSJim Jagielski 					}
186*b1cdbd2cSJim Jagielski public:
187*b1cdbd2cSJim Jagielski                     SvTokenStream( const String & rFileName );
188*b1cdbd2cSJim Jagielski                     SvTokenStream( SvStream & rInStream, const String & rFileName );
189*b1cdbd2cSJim Jagielski                     ~SvTokenStream();
190*b1cdbd2cSJim Jagielski 
GetFileName() const191*b1cdbd2cSJim Jagielski     const String &  GetFileName() const { return aFileName; }
GetStream()192*b1cdbd2cSJim Jagielski     SvStream &      GetStream() { return rInStream; }
193*b1cdbd2cSJim Jagielski 
194*b1cdbd2cSJim Jagielski     void            SetCharSet( CharSet nSet );
GetCharSet() const195*b1cdbd2cSJim Jagielski     CharSet         GetCharSet() const { return nCharSet; }
196*b1cdbd2cSJim Jagielski 
SetTabSize(sal_uInt16 nTabSizeP)197*b1cdbd2cSJim Jagielski     void            SetTabSize( sal_uInt16 nTabSizeP )
198*b1cdbd2cSJim Jagielski                     { nTabSize = nTabSizeP; }
GetTabSize() const199*b1cdbd2cSJim Jagielski     sal_uInt16          GetTabSize() const { return nTabSize; }
200*b1cdbd2cSJim Jagielski 
GetToken_PrevAll()201*b1cdbd2cSJim Jagielski     SvToken *       GetToken_PrevAll()
202*b1cdbd2cSJim Jagielski 					{
203*b1cdbd2cSJim Jagielski 					    SvToken * pRetToken = pCurToken;
204*b1cdbd2cSJim Jagielski 					    if( NULL == (pCurToken = aTokList.Prev()) )
205*b1cdbd2cSJim Jagielski 							// Current Zeiger nie Null
206*b1cdbd2cSJim Jagielski 							pCurToken = pRetToken;
207*b1cdbd2cSJim Jagielski 
208*b1cdbd2cSJim Jagielski 					    return pRetToken;
209*b1cdbd2cSJim Jagielski 					}
GetToken_NextAll()210*b1cdbd2cSJim Jagielski     SvToken *       GetToken_NextAll()
211*b1cdbd2cSJim Jagielski 					{
212*b1cdbd2cSJim Jagielski 					    SvToken * pRetToken = pCurToken;
213*b1cdbd2cSJim Jagielski 					    if( NULL == (pCurToken = aTokList.Next()) )
214*b1cdbd2cSJim Jagielski 							// Current Zeiger nie Null
215*b1cdbd2cSJim Jagielski 							pCurToken = pRetToken;
216*b1cdbd2cSJim Jagielski 						SetMax();
217*b1cdbd2cSJim Jagielski 					    return pRetToken;
218*b1cdbd2cSJim Jagielski 					}
GetToken_Next()219*b1cdbd2cSJim Jagielski     SvToken *       GetToken_Next()
220*b1cdbd2cSJim Jagielski 					{
221*b1cdbd2cSJim Jagielski 						// Kommentare werden initial entfernt
222*b1cdbd2cSJim Jagielski 						return GetToken_NextAll();
223*b1cdbd2cSJim Jagielski 					}
GetToken() const224*b1cdbd2cSJim Jagielski     SvToken *       GetToken() const { return pCurToken; }
Read(char cChar)225*b1cdbd2cSJim Jagielski     sal_Bool            Read( char cChar )
226*b1cdbd2cSJim Jagielski                     {
227*b1cdbd2cSJim Jagielski 					    if( pCurToken->IsChar()
228*b1cdbd2cSJim Jagielski 						  && cChar == pCurToken->GetChar() )
229*b1cdbd2cSJim Jagielski 						{
230*b1cdbd2cSJim Jagielski 							GetToken_Next();
231*b1cdbd2cSJim Jagielski 							return sal_True;
232*b1cdbd2cSJim Jagielski 						}
233*b1cdbd2cSJim Jagielski 						else
234*b1cdbd2cSJim Jagielski 							return sal_False;
235*b1cdbd2cSJim Jagielski 					}
ReadDelemiter()236*b1cdbd2cSJim Jagielski     void            ReadDelemiter()
237*b1cdbd2cSJim Jagielski                     {
238*b1cdbd2cSJim Jagielski 					    if( pCurToken->IsChar()
239*b1cdbd2cSJim Jagielski 						  && (';' == pCurToken->GetChar()
240*b1cdbd2cSJim Jagielski 						  	  || ',' == pCurToken->GetChar()) )
241*b1cdbd2cSJim Jagielski 						{
242*b1cdbd2cSJim Jagielski 							GetToken_Next();
243*b1cdbd2cSJim Jagielski 						}
244*b1cdbd2cSJim Jagielski 					}
245*b1cdbd2cSJim Jagielski 
Tell() const246*b1cdbd2cSJim Jagielski     sal_uInt32          Tell() const
247*b1cdbd2cSJim Jagielski                     { return aTokList.GetCurPos(); }
Seek(sal_uInt32 nPos)248*b1cdbd2cSJim Jagielski     void            Seek( sal_uInt32 nPos )
249*b1cdbd2cSJim Jagielski                     {
250*b1cdbd2cSJim Jagielski                         pCurToken = aTokList.Seek( nPos );
251*b1cdbd2cSJim Jagielski 						SetMax();
252*b1cdbd2cSJim Jagielski                     }
SeekRel(sal_Int32 nRelPos)253*b1cdbd2cSJim Jagielski     void            SeekRel( sal_Int32 nRelPos )
254*b1cdbd2cSJim Jagielski                     {
255*b1cdbd2cSJim Jagielski                         pCurToken = aTokList.Seek( Tell() + nRelPos );
256*b1cdbd2cSJim Jagielski 						SetMax();
257*b1cdbd2cSJim Jagielski                     }
SeekEnd()258*b1cdbd2cSJim Jagielski     void            SeekEnd()
259*b1cdbd2cSJim Jagielski                     {
260*b1cdbd2cSJim Jagielski                         pCurToken = aTokList.Seek( nMaxPos );
261*b1cdbd2cSJim Jagielski                     }
262*b1cdbd2cSJim Jagielski };
263*b1cdbd2cSJim Jagielski 
264*b1cdbd2cSJim Jagielski 
265*b1cdbd2cSJim Jagielski 
266*b1cdbd2cSJim Jagielski #endif // _LEX_HXX
267*b1cdbd2cSJim Jagielski 
268