One Piece of Programming http://fakechris.javaeye.com UTF-8 Copyright 2003-2008, JavaEye.com http://blogs.law.harvard.edu/tech/rss JavaEye - 做最棒的软件开发交流社区 windbg 备忘录 - 5 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/234892  发表时间: 2008年08月30日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

k 堆栈

0:000> k
ChildEBP RetAddr  
0012fb1c 7c95e612 ntdll!DbgBreakPoint
0012fc94 7c94108f ntdll!LdrpInitializeProcess+0xffa
0012fd1c 7c92e437 ntdll!_LdrpInitialize+0x183
00000000 00000000 ntdll!KiUserApcDispatcher+0x7

 

ln  查找最近的函数---手工遍历stack frame

0:000> r eip
eip=7c92120e
0:000> ln eip
(7c92120e)   ntdll!DbgBreakPoint   |  (7c921212)   ntdll!DbgUserBreakPoint
0:000> dd ebp+4 l4
0012fc98  7c94108f 0012fd30 7c920000 0012fce0
 0:000> dd ebp l1
0012fc94  0012fd1c
0:000> dd 0012fd1c+4 l4
0012fd20  7c92e437 0012fd30 7c920000 00000000
0:000> ln 7c92e437
(7c92e430)   ntdll!KiUserApcDispatcher+0x7   |  (7c92e440)   ntdll!KiUserCallbackDispatcher

 



已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Sat, 30 Aug 2008 23:21:47 +0800 http://fakechris.javaeye.com/blog/234892 http://fakechris.javaeye.com/blog/234892 windbg 备忘录 - 4 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/214708  发表时间: 2008年07月14日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

  • u
0:000> u 71a00212
71a00212 0000            add     byte ptr [eax],al
71a00214 003e            add     byte ptr [esi],bh
71a00216 0000            add     byte ptr [eax],al
  • x
0:020> x ntdll!zw*
7c92d379 ntdll!ZwAcceptConnectPort (<no parameter info>)
7c92d38e ntdll!ZwAccessCheck (<no parameter info>)
7c92d3a3 ntdll!ZwAccessCheckAndAuditAlarm (<no parameter info>)
  • dds 查找二进制地址的符号
0:000> dds ebp
0012e738  0012e794
0012e73c  77d195f9 USER32!GetLastInputInfo+0x105
0012e740  00000002
0012e744  0012e760
 
  • dds显示COM c++虚函数表

 

0:020> x ole32!OpaqueDataInfo::`vftable'
769a696c ole32!OpaqueDataInfo::`vftable' = <no type information>
769a6990 ole32!OpaqueDataInfo::`vftable' = <no type information>
0:020> dds 769a696c
769a696c  76aa4d85 ole32!ServerLocationInfo::QueryInterface
769a6970  76aa4d94 ole32!SpecialProperties::AddRef
769a6974  76aa4da3 ole32!ServerLocationInfo::Release
769a6978  76aa6186 ole32!OpaqueDataInfo::Serialize
769a697c  76aa619d ole32!OpaqueDataInfo::UnSerialize
769a6980  76aa61da ole32!OpaqueDataInfo::GetSize
769a6984  76aa622b ole32!OpaqueDataInfo::GetCLSID
769a6988  76aa624b ole32!OpaqueDataInfo::SetParent
769a698c  76aa6278 ole32!OpaqueDataInfo::SerializableQueryInterface
769a6990  76aa62f3 ole32!ScmReplyInfo::QueryInterface
769a6994  769cc09b ole32!InstanceInfo::AddRef
769a6998  769cbfd3 ole32!ServerLocationInfo::Release
769a699c  76aa602d ole32!OpaqueDataInfo::AddOpaqueData
769a69a0  76aa60a3 ole32!OpaqueDataInfo::GetOpaqueData
769a69a4  76aa60f9 ole32!OpaqueDataInfo::DeleteOpaqueData
769a69a8  769dbcde ole32!ScmRequestInfo::GetScmInfo
769a69ac  769ddeac ole32!ServerLocationInfo::GetApartment
769a69b0  76a42304 ole32!CDdeObject::COleObjectImpl::GetExtent
769a69b4  00000021
769a69b8  76a2d24b ole32!CClassMoniker::QueryInterface
769a69bc  76a33503 ole32!CErrorObject::AddRef
769a69c0  76a06762 ole32!CClassMoniker::Release
769a69c4  76a06a01 ole32!CClassMoniker::GetUnmarshalClass
769a69c8  76a06a1e ole32!CClassMoniker::GetMarshalSizeMax
769a69cc  76a06a61 ole32!CClassMoniker::MarshalInterface
769a69d0  76a2cdd1 ole32!CClassMoniker::UnmarshalInterface
769a69d4  76a07061 ole32!CClassMoniker::ReleaseMarshalData
769a69d8  769e2be8 ole32!CMonikerFactory::LockServer
769a69dc  76a2d23c ole32!CClassMoniker::QueryInterface
769a69e0  76a334e5 ole32!CErrorObject::AddRef
769a69e4  76a06a80 ole32!CClassMoniker::Release
769a69e8  76a06999 ole32!CClassMoniker::GetComparisonData
 

已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Mon, 14 Jul 2008 20:55:18 +0800 http://fakechris.javaeye.com/blog/214708 http://fakechris.javaeye.com/blog/214708 windbg 备忘录 - 3 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/214397  发表时间: 2008年07月13日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

  • !runaway
0:029> !runaway
 User Mode Time
  Thread       Time
   6:358       0 days 0:00:01.640
   9:1358      0 days 0:00:00.343
   0:15f4      0 days 0:00:00.187
  25:5fc       0 days 0:00:00.046
  22:1200      0 days 0:00:00.046
  20:698       0 days 0:00:00.046
  21:17f4      0 days 0:00:00.031
  18:1524      0 days 0:00:00.031
  • ~
0:029> ~
   0  Id: 109c.15f4 Suspend: 1 Teb: 7ffdf000 Unfrozen
   1  Id: 109c.103c Suspend: 1 Teb: 7ff96000 Unfrozen
   2  Id: 109c.db4 Suspend: 1 Teb: 7ffdd000 Unfrozen
0:029> ~0s
eax=0012df98 ebx=0012e6c4 ecx=00000001 edx=7c92eb94 esi=00000000 edi=7ffd8000
eip=7c92eb94 esp=0012e69c ebp=0012e738 iopl=0         nv up ei pl zr na pe nc
cs=001b  ss=0023  ds=0023  es=0023  fs=003b  gs=0000             efl=00000246
ntdll!KiFastSystemCallRet:
7c92eb94 c3              ret
0:000> ~1
   1  Id: 109c.103c Suspend: 1 Teb: 7ff96000 Unfrozen
      Start: 000afce7
      Priority: 0  Priority class: 32  Affinity: 3
0:000> ~1s
eax=77e56bf9 ebx=00000000 ecx=046efac8 edx=00000035 esi=0016c3b8 edi=00000100
eip=7c92eb94 esp=0807fe1c ebp=0807ff80 iopl=0         nv up ei pl zr na pe nc
cs=001b  ss=0023  ds=0023  es=0023  fs=003b  gs=0000             efl=00000246
ntdll!KiFastSystemCallRet:
7c92eb94 c3              ret
  • kv
0:001> kv
ChildEBP RetAddr  Args to Child              
0807fe18 7c92e399 77e56713 0000037c 0807ff70 ntdll!KiFastSystemCallRet (FPO: [0,0,0])
0807fe1c 77e56713 0000037c 0807ff70 00000000 ntdll!NtReplyWaitReceivePortEx+0xc (FPO: [5,0,0])
0807ff80 77e56c2b 0807ffa8 77e56a4d 0016c3b8 RPCRT4!LRPC_ADDRESS::ReceiveLotsaCalls+0xf4 (FPO: [Non-Fpo])
0807ff88 77e56a4d 0016c3b8 00207f30 06c50a38 RPCRT4!RecvLotsaCallsWrapper+0xd (FPO: [Non-Fpo])
0807ffa8 77e56c13 0014d410 0807ffec 7c80b683 RPCRT4!BaseCachedThreadRoutine+0x79 (FPO: [Non-Fpo])
0807ffb4 7c80b683 06d43988 00207f30 06c50a38 RPCRT4!ThreadStartRoutine+0x1a (FPO: [Non-Fpo])
0807ffec 00000000 77e56bf9 06d43988 00000000 kernel32!BaseThreadStart+0x37 (FPO: [Non-Fpo])
  • ~*k

 

0:001> ~*k

   0  Id: 109c.15f4 Suspend: 1 Teb: 7ffdf000 Unfrozen
ChildEBP RetAddr  
0012e698 7c92e9ab ntdll!KiFastSystemCallRet
0012e69c 7c8094e2 ntdll!ZwWaitForMultipleObjects+0xc
0012e738 77d195f9 kernel32!WaitForMultipleObjectsEx+0x12c
0012e794 5dff6029 USER32!RealMsgWaitForMultipleObjectsEx+0x13e
0012e7b4 5dff632d IEUI!CoreSC::Wait+0x49
0012e7dc 5dff60d8 IEUI!CoreSC::WaitMessage+0x54
0012e7e8 423698bd IEUI!WaitMessageEx+0x33
0012e818 4235ab4c IEFRAME!CBrowserFrame::FrameMessagePump+0x199
0012e824 4235bbbb IEFRAME!BrowserThreadProc+0x3f
0012e848 4235bb09 IEFRAME!BrowserNewThreadProc+0x7b
0012f8b8 4235b9b9 IEFRAME!SHOpenFolderWindow+0x188
0012fae8 0040147c IEFRAME!IEWinMain+0x2d9
0012ff2c 00401317 iexplore!wWinMain+0x2c1
0012ffc0 7c816fd7 iexplore!_initterm_e+0x1b1
0012fff0 00000000 kernel32!BaseProcessStart+0x23

   1  Id: 109c.103c Suspend: 1 Teb: 7ff96000 Unfrozen
ChildEBP RetAddr  
0807fe18 7c92e399 ntdll!KiFastSystemCallRet
0807fe1c 77e56713 ntdll!NtReplyWaitReceivePortEx+0xc
0807ff80 77e56c2b RPCRT4!LRPC_ADDRESS::ReceiveLotsaCalls+0xf4
0807ff88 77e56a4d RPCRT4!RecvLotsaCallsWrapper+0xd
0807ffa8 77e56c13 RPCRT4!BaseCachedThreadRoutine+0x79
0807ffb4 7c80b683 RPCRT4!ThreadStartRoutine+0x1a
0807ffec 00000000 kernel32!BaseThreadStart+0x37

   2  Id: 109c.db4 Suspend: 1 Teb: 7ffdd000 Unfrozen
ChildEBP RetAddr  
0117ff20 7c92e9c0 ntdll!KiFastSystemCallRet
0117ff24 7c8025cb ntdll!ZwWaitForSingleObject+0xc
0117ff88 7c802532 kernel32!WaitForSingleObjectEx+0xa8
0117ff9c 00ed4d4e kernel32!WaitForSingleObject+0x12
WARNING: Stack unwind information not available. Following frames may be wrong.
0117ffec 00000000 GOOGLEPINYIN!ImeSettingsManage+0x16f7e

   3  Id: 109c.de4 Suspend: 1 Teb: 7ffdc000 Unfrozen
ChildEBP RetAddr  
036dfdbc 7c92e9ab ntdll!KiFastSystemCallRet
036dfdc0 7c8094e2 ntdll!ZwWaitForMultipleObjects+0xc
036dfe5c 77d195f9 kernel32!WaitForMultipleObjectsEx+0x12c
036dfeb8 5dff6029 USER32!RealMsgWaitForMultipleObjectsEx+0x13e
036dfed8 5dff93e4 IEUI!CoreSC::Wait+0x49
036dff0c 5dff98a6 IEUI!CoreSC::xwProcessNL+0xa4
036dff2c 5dff9806 IEUI!GetMessageExA+0x44
036dff80 77c0a3b0 IEUI!ResourceManager::SharedThreadProc+0xb6
036dffb4 7c80b683 msvcrt!_endthreadex+0xa9
036dffec 00000000 kernel32!BaseThreadStart+0x37
 

 



已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Sun, 13 Jul 2008 21:58:44 +0800 http://fakechris.javaeye.com/blog/214397 http://fakechris.javaeye.com/blog/214397 windbg 备忘录 - 2 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/214396  发表时间: 2008年07月13日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

  • vertarget

 

0:020> vertarget
Windows XP Version 2600 (Service Pack 2) MP (2 procs) Free x86 compatible
Product: WinNt, suite: SingleUserTS
kernel32.dll version: 
Debug session time: Sun Jul 13 17:04:47.593 2008 (GMT+8)
System Uptime: 0 days 7:25:03.283
Process Uptime: 0 days 0:00:40.156
  Kernel time: 0 days 0:00:01.015
  User time: 0 days 0:00:00.531

 

  • !peb

 

0:020> !peb
PEB at 7ffd8000
    InheritedAddressSpace:    No
    ReadImageFileExecOptions: No
    BeingDebugged:            Yes
    ImageBaseAddress:         00400000
    Ldr                       00241e90
    Ldr.Initialized:          Yes
    Ldr.InInitializationOrderModuleList: 00241f28 . 00247840
    Ldr.InLoadOrderModuleList:           00241ec0 . 00247830
    Ldr.InMemoryOrderModuleList:         00241ec8 . 00247838
            Base TimeStamp                     Module
          400000 48057626 Apr 16 11:44:38 2008 C:\Program Files\Internet Explorer\iexplore.exe
        7c920000 411095a0 Aug 04 15:52:00 2004 C:\WINDOWS\system32\ntdll.dll
 
  • lmvm
0:020> lmvm msvcrt
start    end        module name
77be0000 77c38000   msvcrt     (pdb symbols)          C:\symserver\msvcrt.pdb\A678F3C30DED426B839032B996987E381\msvcrt.pdb
    Loaded symbol image file: C:\WINDOWS\system32\msvcrt.dll
    Image path: C:\WINDOWS\system32\msvcrt.dll
    Image name: msvcrt.dll
    Timestamp:        Wed Aug 04 15:54:19 2004 (4110962B)
    CheckSum:         0005B1BC
    ImageSize:        00058000
    File version:     7.0.2600.2180
    Product version:  6.1.8638.2180
    File flags:       0 (Mask 3F)
    File OS:          40004 NT Win32
    File type:        1.0 App
    File date:        00000000.00000000
    Translations:     0409.04b0
    CompanyName:      Microsoft Corporation
    ProductName:      Microsoft® Windows® Operating System
    InternalName:     msvcrt.dll
    OriginalFilename: msvcrt.dll
    ProductVersion:   7.0.2600.2180
    FileVersion:      7.0.2600.2180 (xpsp_sp2_rtm.040803-2158)
    FileDescription:  Windows NT CRT DLL
    LegalCopyright:   © Microsoft Corporation. All rights reserved.
 

 

  • lm
0:020> lm
start    end        module name
00400000 0049b000   iexplore   (pdb symbols)          C:\symserver\iexplore.pdb\D30DD314266F4A0FB8DD6828D163AFDB2\iexplore.pdb
00eb0000 00f6a000   GOOGLEPINYIN C (export symbols)       C:\WINDOWS\system32\GOOGLEPINYIN.IME
 

 

  • r dd dw db ed
  • s -u 0012ff40 L?80000000 "haibao.cn"
0:029> s -u 0012ff40 L?80000000 "haibao.cn"
0018d982  0068 0061 0069 0062 0061 006f 002e 0063  h.a.i.b.a.o...c.
00190656  0068 0061 0069 0062 0061 006f 002e 0063  h.a.i.b.a.o...c.
0019c478  0068 0061 0069 0062 0061 006f 002e 0063  h.a.i.b.a.o...c.
0019c498  0068 0061 0069 0062 0061 006f 002e 0063  h.a.i.b.a.o...c.
0019c598  0068 0061 0069 0062 0061 006f 002e 0063  h.a.i.b.a.o...c.
0019c5f8  0068 0061 0069 0062 0061 006f 002e 0063  h.a.i.b.a.o...c.
 

已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Sun, 13 Jul 2008 21:53:01 +0800 http://fakechris.javaeye.com/blog/214396 http://fakechris.javaeye.com/blog/214396 windbg 备忘录 - 1 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/214366  发表时间: 2008年07月13日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

  • x 搜索函数

 

0:000> x windbgtest!change
00411400 windbgtest!change (char *)
0:000> x windbgtest!getB
004113c0 windbgtest!getB (void)
 
  • bp 加断点

 

0:000> bp 4113c0
0:000> bp 411400
 
  • bl list断点
    bc 清除断点
0:000> bl
 0 e 004113c0 [e:\temp\windbgtest\windbgtest\windbgtest.cpp @ 8]    0001 (0001)  0:**** windbgtest!getB
 1 e 00411400 [e:\temp\windbgtest\windbgtest\windbgtest.cpp @ 13]    0001 (0001)  0:**** windbgtest!change
0:000> bc 0

 

  • k 显示堆栈

 

0:000> k
ChildEBP RetAddr  
0012fe88 004114ae windbgtest!getB [e:\temp\windbgtest\windbgtest\windbgtest.cpp @ 8]
0012ff68 00411a98 windbgtest!wmain+0x4e [e:\temp\windbgtest\windbgtest\windbgtest.cpp @ 26]
0012ffb8 004118df windbgtest!__tmainCRTStartup+0x1a8 [f:\dd\vctools\crt_bld\self_x86\crt\src\crtexe.c @ 579]
0012ffc0 7c816fd7 windbgtest!wmainCRTStartup+0xf [f:\dd\vctools\crt_bld\self_x86\crt\src\crtexe.c @ 399]
0012fff0 00000000 kernel32!BaseProcessStart+0x23
 
  • dc 显示内存数据
0:000> dc eax
00415741  70337033 25000000 25000073 6b000a73  3p3p...%s..%s..k
00415751  63207965 00746e6f 00000000 66000000  ey cont........f

 

  • address 显示内存属性

 

0:000> !address eax
    00400000 : 00415000 - 00002000
                    Type     01000000 MEM_IMAGE
                    Protect  00000002 PAGE_READONLY
                    State    00001000 MEM_COMMIT
                    Usage    RegionUsageImage
                    FullPath windbgtest.exe
 

 



已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Sun, 13 Jul 2008 17:06:28 +0800 http://fakechris.javaeye.com/blog/214366 http://fakechris.javaeye.com/blog/214366 Boost test code fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/200223  发表时间: 2008年06月04日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！ 

// clientcontrol.cpp : Defines the entry point for the console application.
//

#include "stdafx.h"

#include <fstream>
#include <iostream>

#include <boost/filesystem.hpp>
#include <boost/program_options.hpp>
#define BOOST_LOG_DONOT_USE_WCHAR_T
#include <boost/logging/format_fwd.hpp>
#include <boost/logging/format.hpp>

using namespace std;

using namespace boost::logging;
namespace po = boost::program_options;
using namespace boost::filesystem;


BOOST_LOG_FORMAT_MSG( optimize::cache_string_one_str<> )

typedef logger_format_write< > log_type;

// Step 4: declare which filters and loggers you'll use (usually in a header file)
BOOST_DECLARE_LOG_FILTER(g_log_filter, filter::no_ts ) 
BOOST_DECLARE_LOG(g_l, log_type) 

#define L_ BOOST_LOG_USE_LOG_IF_FILTER(g_l(), g_log_filter()->is_enabled() ) 

BOOST_DEFINE_LOG_FILTER(g_log_filter, filter::no_ts ) 
BOOST_DEFINE_LOG(g_l, log_type) 


int _tmain(int argc, _TCHAR* argv[])
{
	int opt;

	g_l()->writer().add_formatter( formatter::idx(), "[%] " );
	g_l()->writer().add_formatter( formatter::append_newline() );
	g_l()->writer().add_destination( destination::cout() );
	g_l()->writer().add_destination( destination::dbg_window() );
	g_l()->writer().add_destination( destination::file("server.log"));
	//g_l()->writer().add_destination( dest_out );
	g_l()->mark_as_initialized();

	L_ << "test" << 12;

	// Declare a group of options that will be 
	// allowed only on command line
	po::options_description generic("Generic options");
	generic.add_options()
		("version,v", "print version string")
		("help", "produce help message")    
		;

	// Declare a group of options that will be 
	// allowed both on command line and in
	// config file
	po::options_description config("Configuration");
	config.add_options()
		("optimization", po::value<int>(&opt)->default_value(10), 
		"optimization level")
		("include-path,I", 
		po::value< vector<string> >()->composing(), 
		"include path")
		;

	// Hidden options, will be allowed both on command line and
	// in config file, but will not be shown to the user.
	po::options_description hidden("Hidden options");
	hidden.add_options()
		("input-file", po::value< vector<string> >(), "input file")
		;      

	po::options_description cmdline_options;
	cmdline_options.add(generic).add(config).add(hidden);

	po::options_description config_file_options;
	config_file_options.add(config).add(hidden);

	po::options_description visible("Allowed options");
	visible.add(generic).add(config);

	po::variables_map vm;
	po::store(po::parse_command_line(argc, argv, cmdline_options), vm);
	ifstream ifs("test.cfg");
	po::store(po::parse_config_file(ifs, config_file_options), vm);
	po::notify(vm);   

	if (vm.count("help")) {
		cout << cmdline_options << "\n";
		return 1;
	}

	if (vm.count("optimization")) {
		cout << "optimization level was set to " 
			<< vm["optimization"].as<int>() << ".\n";
	} 
	
	
	if (vm.count("include-path")) {
		cout << "include-path level was set to " 
			<< vm["include-path"].as< vector<string> >()[0] << ".\n";
		cout << "include-path level was set to " 
			<< vm["include-path"].as< vector<string> >()[1] << ".\n";
	} 

	create_directories("test/okla/zzc");
	copy_file("c:\\windows\\system32\\drivers\\etc\\hosts", "test/okla/zzc/hosts");
	//copy_file("c:\\windows\\system32\\drivers\\etc\\", "test/okla/zzc/");
	

	/*
	// Declare the supported options.
	po::options_description desc("Allowed options");
	desc.add_options()
		("help", "produce help message")
		("compression", po::value<int>(), "set compression level")
		;

	po::variables_map vm;
	po::store(po::parse_command_line(argc, argv, desc), vm);
	po::notify(vm);    

	if (vm.count("help")) {
		cout << desc << "\n";
		return 1;
	}

	if (vm.count("compression")) {
		cout << "Compression level was set to " 
			<< vm["compression"].as<int>() << ".\n";
	} else {
		cout << "Compression level was not set.\n";
	}
	*/
	return 0;
}


已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Wed, 04 Jun 2008 18:16:59 +0800 http://fakechris.javaeye.com/blog/200223 http://fakechris.javaeye.com/blog/200223 发布一个python的分词模块 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/163334  发表时间: 2008年02月19日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

http://code.google.com/p/pychseg/

第一个版本实现了基于的MMSEG中文分词算法Python 实现。MMSEG实际上是一个正向最大匹配+多个规则的分词算法。链接给出的几个网站写的很清楚了。在开发过程中我增加了一个规则来处理原来的算法中有可能出现的冲突问题。当所有的规则都无法唯一的确定一个chunk时，优先选择后面比较长的词。开发过程中参照了MMSEG的Java实现和ruby实现。并且对性能进行了初步的优化。

目前的性能数据：在Pentium D 2.8G的CPU下处理2.9MB的文本数据，不开启pysco的情况下104s，开启pysco的情况下90s，能达到32KB/s。经测试速度能达到 Java版本MMSEG的1/3，未来如果要进一步优化速度的话应该是把关键的算法的实现移植到c语言中。

TODO:

* 实现NLTK兼容的接口
* C语言级别的优化
* 实现其他算法，目前考虑一个ICTCLAS的python实现，要看有没有时间
* 支持停用词，支持unicode的字母数字检测等

与分词有关的其他想法

* 研究一下ferret/cferret，能否实现一个python binding并且结合进去
* 与nlp/datamining的进一步结合

已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Tue, 19 Feb 2008 13:41:05 +0800 http://fakechris.javaeye.com/blog/163334 http://fakechris.javaeye.com/blog/163334 Scala 用函数式编程的方法调用db4o fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/110998  发表时间: 2007年08月10日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

db4o 是一个开源的纯面向对象数据库，同时支持Java和dotNet。使用db4o可以用更加面向对象的方式存储数据，比JPA等通过ORM来协调数据库和对象之间的方案来的更为自然。

那么用函数式编程的眼光来看，应该如何使用db4o这样的库呢？首先我们来看一个db4o的包装类

xml 代码
  1. package plan.util;   
  2.   
  3. import com.db4o.query.Query   
  4.   
  5. abstract class LazyQuery[QInterface, T]  (val criteria: List[Query=>Query]) extends Iterable[T] {   
  6.      
  7.   def elements = {   
  8.     val init: Query = null  
  9.     // 等价于 criteria leftFold init ( query=>query(query=>query) )
  10.     val query = (criteria :\ init)((f, q)=>f(q))   
  11.     Db4oUtil.iterate[T](query)   
  12.   }   
  13.      
  14.   def factory: List[Query=>Query]=>QInterface   
  15.      
  16.   def constrain(c: Query=>Query) = factory(c :: criteria)   
  17. }   
  18.   
  19. object Db4oUtil {   
  20.   def iterate[T](q: Query) = {   
  21.     val set = q.execute()   
  22.     new Iterator[T] {   
  23.       def hasNext = set.hasNext   
  24.       def next = set.next.asInstanceOf[T]   
  25.     }   
  26.   }   
  27. }   

看一个实际的例子，People和AutoInfo是POJO，People有一个指向AutoInfo的List。通过继承LazyQuery的Peoples可以很容易做一些查询、filter、以及复杂的操作。由于是functional的（所有的constrain都是query=>query的函数），所以各个查询条件可以互相组合，非常方便

xml 代码
  1. package plan;   
  2.   
  3. import plan.util.Db4oUtil   
  4. import plan.util.LazyQuery   
  5.   
  6. import com.db4o.Db4o   
  7. import com.db4o.ObjectContainer   
  8. import com.db4o.query.Query   
  9.   
  10. import scala.reflect.BeanProperty   
  11.   
  12. class People {   
  13.   @BeanProperty   
  14.   var id: int =_  
  15.   
  16.   @BeanProperty   
  17.   var name: String =_  
  18.   
  19.   @BeanProperty   
  20.   var address: String =_  
  21.   
  22.   @BeanProperty   
  23.   var autoInfoList: java.util.List = new java.util.ArrayList   
  24.      
  25.   def addAutoInfo(autoInfo: AutoInfo) = {   
  26.     autoInfoList.add(autoInfo)   
  27.   }   
  28.      
  29.   def autoCount = autoInfoList size   
  30. }   
  31.   
  32. class AutoInfo {   
  33.   @BeanProperty   
  34.   var id: int = _     
  35.   
  36.   @BeanProperty   
  37.   var name: String = _     
  38.   
  39.   @BeanProperty   
  40.   var owner: People  = _  
  41. }   
  42.   
  43. class Peoples(criteria: List[Query=>Query]) extends LazyQuery[Peoples, People](criteria) {   
  44.      
  45.   override def factory = new Peoples(_)   
  46.      
  47.   def withAuto() = {   
  48.     constrain { q=>  
  49.         q.descend("autoInfoList")   
  50.         q   
  51.     }   
  52.   }   
  53.        
  54.   def totalAuto = (this.map(_.autoCount) :\ 0)( (f,g) => f + g )   
  55. }   
  56.   
  57. object Db4oTest {   
  58.   var db: ObjectContainer = _  
  59.   def initData() = {   
  60.     val peo = new People   
  61.     peo.address = "北京"  
  62.     peo.name = "Chris"  
  63.     var auInfo = new AutoInfo   
  64.     auInfo.name = "雪铁龙"  
  65.     auInfo.owner = peo  
  66.     peo.addAutoInfo(auInfo)         
  67.     db.set(peo)   
  68.        
  69.     val peo1 = new People   
  70.     peo1.address = "上海"  
  71.     peo1.name = "Louis"  
  72.     db.set(peo1)   
  73.   }   
  74.   private def query(klass: Class) = {   
  75.     val q = db.query()   
  76.     q.constrain(klass)   
  77.     q   
  78.   }   
  79.   def main(args: Array[String]) = {   
  80.     db = Db4o.openFile("auto.yap")   
  81.     try {   
  82.       //initData       
  83.       val peoples = new Peoples(List(q=>query(classOf[People])))   
  84.   
  85.       // get total car all people have   
  86.       println( peoples.totalAuto )   
  87.   
  88.       // lazy query all people   
  89.       for (peo <- peoples.elements) {   
  90.         println( peo.name )    
  91.       }   
  92.       // lazy query all people with autoinfo   
  93.       for (peo <- peoples.withAuto.elements) {   
  94.         println( peo.name )    
  95.       }   
  96.     }finally{   
  97.       db.close();   
  98.     }   
  99.   }   
  100. }   

 



已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Fri, 10 Aug 2007 22:53:08 +0800 http://fakechris.javaeye.com/blog/110998 http://fakechris.javaeye.com/blog/110998 用gdb调试python程序 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/110967  发表时间: 2007年08月10日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

最近遇到情况，一堆python进程中不定期的有一个内存会突然暴涨。由于重现几率非常低，而且无法分析原因，只好上gdb调试了。
中间走了点弯路，python源代码自带了gdb的宏，但是pystack和pyo基本不能用。最后的办法就是当出现问题的时候，使用gdb attach到python程序上，然后在堆栈中找到PyFrameObject对象， 从而定位到出问题的python函数
函数名 *(char*)&(((PyStringObject*)f->f_code->co_name)->ob_sval)
文件名 *(char*)&(((PyStringObject*)f->f_code->co_filename)->ob_sval)
行号 f->f_code->firstlineno

不过在gdb中想要得到类和dict的信息真是太痛苦了，有空研究一下为什么pyo的宏不能使用

已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Fri, 10 Aug 2007 18:31:00 +0800 http://fakechris.javaeye.com/blog/110967 http://fakechris.javaeye.com/blog/110967 与python内存泄露作斗争 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/108963  发表时间: 2007年08月04日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

偶们的网站是基于Django开发的，部署在lighttpd + fastcgi模式，最近遇到一个诡异的问题，不定期有一个或几个进程内存突然飙升至几百兆濒临崩溃。想了很多办法调试

1、gdb动态attach上去，结果python2.5的gdbinit文件的宏似乎不起作用

2、试图使用valgrind未果

3、在python上加signal handler，但是出错时无法响应handler函数

最后只好临时增加一个脚本，检测内存过高的python进程并且直接kill之，算是个临时方案吧

sh 代码
  1. ps --no-headers -A -o "vsz %cpu rss sz ucomm pid" | awk '$1 > 80000 && $5 == "python" '{print $6}' | xargs kill -9  


已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Sat, 04 Aug 2007 22:23:56 +0800 http://fakechris.javaeye.com/blog/108963 http://fakechris.javaeye.com/blog/108963 在scala里调用Hibernate JPA fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/108302  发表时间: 2007年08月02日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

虽然scala里也能直接使用hibernate逆向工程生成的entity文件，但是使用scala可以大大减少代码量。

pojo在java中的定义如下

java 代码
  1. @Entity  
  2. @Table(name = "mytable", catalog = "mydb")   
  3. public class MyTable implements java.io.Serializable {   
  4.   
  5.     private int id;   
  6.   
  7.     private String title;   
  8.   
  9.     private String summary;   
  10.   
  11.     private Date date;   
  12.   
  13.     private String tags;   
  14.   
  15.     public MyTable () {   
  16.     }   
  17.   
  18.     public MyTable (int id, String title, Date date) {   
  19.         this.id = id;   
  20.         this.title = title;   
  21.         this.date = date;   
  22.     }   
  23.   
  24.     public MyTable (int id, String title, String summary, Date date,   
  25.             String tags) {   
  26.         this.id = id;   
  27.         this.title = title;   
  28.         this.summary = summary;   
  29.         this.date = date;   
  30.         this.tags = tags;   
  31.     }   
  32.   
  33.     @Id  
  34.     @Column(name = "id", unique = true, nullable = false)   
  35.     public int getId() {   
  36.         return this.id;   
  37.     }   
  38.   
  39.     public void setId(int id) {   
  40.         this.id = id;   
  41.     }   
  42.   
  43.     @Column(name = "title", nullable = false, length = 256)   
  44.     public String getTitle() {   
  45.         return this.title;   
  46.     }   
  47.   
  48.     public void setTitle(String title) {   
  49.         this.title = title;   
  50.     }   
  51.   
  52.     @Column(name = "summary")   
  53.     public String getSummary() {   
  54.         return this.summary;   
  55.     }   
  56.   
  57.     public void setSummary(String summary) {   
  58.         this.summary = summary;   
  59.     }   
  60.   
  61.     @Temporal(TemporalType.DATE)   
  62.     @Column(name = "date", nullable = false, length = 0)   
  63.     public Date getDate() {   
  64.         return this.date;   
  65.     }   
  66.   
  67.     public void setDate(Date date) {   
  68.         this.date = date;   
  69.     }   
  70.   
  71.     @Column(name = "tags")   
  72.     public String getTags() {   
  73.         return this.tags;   
  74.     }   
  75.   
  76.     public void setTags(String tags) {   
  77.         this.tags = tags;   
  78.     }   
  79.   
  80. }   

Scala由于有内置的BeanProperty支持，上面的代码缩减为下面的，一切setter/getter函数都免了，当然愿意手工加也可以

scala 代码
  1. @Entity  
  2. @Table{val name = "mytable", val catalog = "mydb"}   
  3. class MyTable extends  java.io.Serializable {   
  4.   
  5.         @Id  
  6.         @Column{val name = "id", val unique = true, val nullable = false}   
  7.         @BeanProperty  
  8.         var id: int = _   
  9.   
  10.         @Column{val name = "title", val nullable = false, val length = 256}   
  11.         @BeanProperty  
  12.         var title: String = _   
  13.   
  14.         @Column{val name = "summary"}           
  15.         @BeanProperty  
  16.         var summary: String = _   
  17.   
  18.         @Temporal(TemporalType.DATE)   
  19.         @Column{val name = "date", val nullable = false, val length = 0}           
  20.         @BeanProperty  
  21.         var date: Date = _   
  22.   
  23.         @Column{val name = "tags"}           
  24.         @BeanProperty  
  25.         var tags: String = _   
  26.   
  27.         def this(id: int, title: String, date: Date) =  {   
  28.                 this();   
  29.                 this.id = id;   
  30.                 this.title = title;   
  31.                 this.date = date;   
  32.         }   
  33.   
  34.         def this(id: int, title: String, summary: String, date: Date,    
  35.                         tags: String) = {   
  36.                this();   
  37.                 this.id = id;   
  38.                 this.title = title;   
  39.                 this.summary = summary;   
  40.                 this.date = date;   
  41.                 this.tags = tags;   
  42.         }   
  43. }  

访问也很简单

scala 代码
  1. val emf = Persistence.createEntityManagerFactory("helloworld")   
  2. val em = emf.createEntityManager()    
  3. var tests = em.createQuery(   
  4.         "from MyTable"  
  5.         ).getResultList()   
  6.   
  7. // 这里将java.util.List转换为scala的List，方便处理   
  8. val testsList = new scala.collection.jcl.BufferWrapper[MyTable] {   
  9.       override def underlying = tests    
  10. }   
  11.   
  12. for (test < - testsList) {   
  13.       println(test)   
  14.       println(test.title)   
  15.       println(test.summary)   
  16. }  


已有 1 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Thu, 02 Aug 2007 23:09:00 +0800 http://fakechris.javaeye.com/blog/108302 http://fakechris.javaeye.com/blog/108302 python的小工具，把hibernate reverse engine生成的java文件转换为scala的 fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/107970  发表时间: 2007年08月01日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

最近需要把hibernate reverse enginering生成的java entity代码转换为scala的（虽然scala能够直接调用java的代码）。Scala的语法虽然和java很相近，但是手工改起来还是很麻烦。

先是考察了antlr，不过由于hibernate生成的文件格式十分工整，用antlr似乎有点牛刀杀鸡的嫌疑。看了python antlr的文档，发现antlr3的语法变得厉害，而且对ast解析的tree parser也很复杂，不像是短时间内能搞定的，于是决定放弃lexer，裸写正则表达式处理，主要牵涉到annotation、构造函数以及函数定义的处理，大约2个多小时完工，这是代码。

python 代码
  1. import os,sys,re  
  2.   
  3. def doFunction(*args):   
  4.     arglist = args[3].split(",")   
  5.     newargs = []   
  6.     for arg in arglist:           
  7.         newargs.append( re.sub("(\S+)\s+(\S+)", r"\2: \1", arg.strip()) )   
  8.     newargstr = ", ".join(newargs)    
  9.     return "%sdef %s(%s) = %s\n" % (args[0], args[2], newargstr, args[4])   
  10.   
  11. def doConstructor(*args):   
  12.     arglist = args[2].split(",")   
  13.     newargs = []   
  14.     for arg in arglist:           
  15.         newargs.append( re.sub("(\S+)\s+(\S+)", r"\2: \1", arg.strip()) )   
  16.     newargstr = ", ".join(newargs)    
  17.     return "%sdef this(%s) = %s\n%sthis();\n" % (args[0], newargstr, args[3], " "*16)   
  18.   
  19. def doAnnotation(*args):   
  20.     arglist = args[2].split(",")   
  21.     newargs = []   
  22.     for arg in arglist:           
  23.         newargs.append( re.sub("(\S+)\s*=\s*(\S+)", r"val \1 = \2", arg.strip()) )   
  24.     newargstr = ", ".join(newargs)    
  25.     return "%s@%s{%s}%s" % (args[0], args[1], newargstr, args[3])   
  26.   
  27. isInDefaultConstructor = False  
  28. def enterDefaultConstructor(*args):   
  29.     global isInDefaultConstructor   
  30.     isInDefaultConstructor = True  
  31.     return ""   
  32.   
  33. def leaveDefaultConstructor(*args):   
  34.     global isInDefaultConstructor   
  35.     if isInDefaultConstructor:   
  36.         isInDefaultConstructor = False  
  37.         return ""   
  38.     else:   
  39.         return "%s}%s" % (args[0], args[1])   
  40.   
  41. funclist = (           
  42.   ("(\s*)public\s+(\S+)\s*\(([^\)]+)\)(.*)", doConstructor),   
  43.   ("(\s*)public\s+(\S+)\s+([^\(;{]+)\s*\(\s*([^\)]+)\s*\)(.*)", doFunction),   
  44.   ("(\s*)public\s+(\S+)\s*\(\s*\)(.*)", enterDefaultConstructor),   
  45.   ("(\s*)}(\s*)", leaveDefaultConstructor),   
  46.   ("(\s*)@(\w+)\(([^\)=]+=[^\)]+)\)([^{]*)", doAnnotation),   
  47. )   
  48.   
  49. relist = (   
  50.   ("import ([^;\*]+)(\*);", r"import \1._"),    
  51.   ("import ([^;\*]+);", r"import \1"),   
  52.   ("(\w+)\s+class\s+(\w+)\s+implements(.*)", r"class \2 extends \3"),   
  53.   ("(\s*)public\s+(\S+)\s+([^;\(]+);", r"var \3: \2 = _"),   
  54.   ("(\s*)private\s+(\S+)\s+([^;\(]+);", r"\1private var \3: \2 = _"),   
  55.   ("(\s*)public\s+(\S+)\s+([^\(;{]+)\s*\(\s*\)(.*)", r"\1def \3() = {"),   
  56.   ("(\s*)return\s+([^;]+);(.*)", r"\1\2"),       
  57. )   
  58.   
  59. def convert(inputfile, outputfile):   
  60.     input = file(inputfile, "r")   
  61.     output = file(outputfile, "w")   
  62.     for eachline in input.readlines():   
  63.         matched = False  
  64.         for reitem in relist:   
  65.             if re.match(reitem[0], eachline):   
  66.                 newline = re.sub(reitem[0], reitem[1], eachline)   
  67.                 matched = True  
  68.                 print newline.rstrip()   
  69.                 output.write(newline)   
  70.                 continue  
  71.         if matched:   
  72.             continue  
  73.                            
  74.         for reitem in funclist:   
  75.             result = re.match(reitem[0], eachline)   
  76.             if result:   
  77.                 newline = reitem[1](*result.groups())   
  78.                 matched = True  
  79.                 print newline   
  80.                 output.write(newline)   
  81.                 continue      
  82.         if matched:   
  83.             continue  
  84.            
  85.         print eachline   
  86.         output.write(eachline)   
  87.   
  88. def getOutputFilename(inputfile):   
  89.     if inputfile.endswith(".java"):   
  90.         return inputfile[:-5] + ".scala"   
  91.     else:   
  92.         return inputfile + ".scala"    
  93.   
  94. if __name__ == "__main__":   
  95.     inputfile = "./src/base/input.java"   
  96.     outputfile = getOutputFilename(inputfile)   
  97.     convert(inputfile, outputfile)   

输入一个java文件

java 代码
  1. package base;   
  2.   
  3. import java.util.Date;   
  4. import javax.persistence.Column;   
  5. import javax.persistence.Entity;   
  6. import javax.persistence.Id;   
  7. import javax.persistence.Table;   
  8. import javax.persistence.Temporal;   
  9. import javax.persistence.TemporalType;   
  10.   
  11. /**  
  12. * VoteVote generated by hbm2java  
  13. */  
  14. @Entity  
  15. @Table(name = "mytable", catalog = "mydb")   
  16. public class MyTable implements java.io.Serializable {   
  17.   
  18.         private int id;   
  19.   
  20.         private String text;   
  21.   
  22.         private Date date;   
  23.   
  24.         private String tags;   
  25.   
  26.         public VoteVote() {   
  27.         }   
  28.   
  29.         public VoteVote(int id, String text, Date date) {   
  30.                 this.id = id;   
  31.                 this.text = text;   
  32.                 this.date = date;   
  33.         }   
  34.   
  35.         public VoteVote(int id, String text, Date date, String tags) {   
  36.                 this.id = id;   
  37.                 this.text = text;   
  38.                 this.date = date;   
  39.                 this.tags = tags;   
  40.         }   
  41.   
  42.         @Id  
  43.         @Column(name = "id", unique = true, nullable = false)   
  44.         public int getId() {   
  45.                 return this.id;   
  46.         }   
  47.   
  48.         public void setId(int id) {   
  49.                 this.id = id;   
  50.         }   
  51.   
  52.         @Column(name = "text", nullable = false)   
  53.         public String getText() {   
  54.                 return this.text;   
  55.         }   
  56.   
  57.         public void setText(String text) {   
  58.                 this.text = text;   
  59.         }   
  60.   
  61.         @Temporal(TemporalType.DATE)   
  62.         @Column(name = "date", nullable = false, length = 0)   
  63.         public Date getDate() {   
  64.                 return this.date;   
  65.         }   
  66.   
  67.         public void setDate(Date date) {   
  68.                 this.date = date;   
  69.         }   
  70.   
  71.         @Column(name = "tags")   
  72.         public String getTags() {   
  73.                 return this.tags;   
  74.         }   
  75.   
  76.         public void setTags(String tags) {   
  77.                 this.tags = tags;   
  78.         }   
  79.   
  80. }   

输出scala代码

scala 代码
  1. package base;   
  2.   
  3. import java.util.Date   
  4. import javax.persistence.Column   
  5. import javax.persistence.Entity   
  6. import javax.persistence.Id   
  7. import javax.persistence.Table   
  8. import javax.persistence.Temporal   
  9. import javax.persistence.TemporalType   
  10.   
  11. /**  
  12. * VoteVote generated by hbm2java  
  13. */  
  14. @Entity  
  15. @Table{val name = "mytable", val catalog = "mydb"}   
  16. class MyTable extends  java.io.Serializable {   
  17.   
  18.         private var id: int = _   
  19.   
  20.         private var text: String = _   
  21.   
  22.         private var date: Date = _   
  23.   
  24.         private var tags: String = _   
  25.   
  26.   
  27.         def this(id: int, text: String, date: Date) =  {   
  28.                 this();   
  29.                 this.id = id;   
  30.                 this.text = text;   
  31.                 this.date = date;   
  32.         }   
  33.   
  34.         def this(id: int, text: String, date: Date, tags: String) =  {   
  35.                 this();   
  36.                 this.id = id;   
  37.                 this.text = text;   
  38.                 this.date = date;   
  39.                 this.tags = tags;   
  40.         }   
  41.   
  42.         @Id  
  43.         @Column{val name = "id", val unique = true, val nullable = false}   
  44.         def getId() = {   
  45.                 this.id   
  46.         }   
  47.   
  48.         def setId(id: int) =  {   
  49.                 this.id = id;   
  50.         }   
  51.   
  52.         @Column{val name = "text", val nullable = false}   
  53.         def getText() = {   
  54.                 this.text   
  55.         }   
  56.   
  57.         def setText(text: String) =  {   
  58.                 this.text = text;   
  59.         }   
  60.   
  61.         @Temporal(TemporalType.DATE)   
  62.         @Column{val name = "date", val nullable = false, val length = 0}   
  63.         def getDate() = {   
  64.                 this.date   
  65.         }   
  66.   
  67.         def setDate(date: Date) =  {   
  68.                 this.date = date;   
  69.         }   
  70.   
  71.         @Column{val name = "tags"}   
  72.         def getTags() = {   
  73.                 this.tags   
  74.         }   
  75.   
  76.         def setTags(tags: String) =  {   
  77.                 this.tags = tags;   
  78.         }   
  79.   
  80. }   

呵呵，完美完成任务

 



已有 2 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Wed, 01 Aug 2007 23:55:42 +0800 http://fakechris.javaeye.com/blog/107970 http://fakechris.javaeye.com/blog/107970 scala学习笔记(5) -- implicit type fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/107445  发表时间: 2007年07月31日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

scala的implicit def是一个非常重要而且容易被人忽视的特性，通过它能够模拟很多haskell/sml类型系统特有的能力。

考虑如下的接口

scala 代码
  1. trait Filter[a] {   
  2.   def filter(input:a)(f: a=>Boolean):Option[a]   
  3. }  

注意由于haskell是纯函数式语言，没有副作用，所以所有的类型都是covariant的。而scala做不到这一点，covarint、contravariant和invariant都会存在，所以这里的泛型参数没有协变。

我们想写一段“万能”的代码处理所有类型的filter操作，于是

scala 代码
  1. object Filtering{   
  2.   def filter[a](input: a)(f: a=> Boolean)(filter: Filter[a]): Option[a] =    
  3.     return filter.filter(input)(a)   
  4. }  

现在问题来了，不是所有的对象都从Filter接口派生，我们有一个已存在的类，又不想改动既有的代码，怎么办呢？

答案就是implicit type。首先重写Filtering的实现，注意currying的第二个参数定义前加上了implicit

scala 代码
  1. object Filtering{   
  2.   def filter[a](input: a)(f: a=> Boolean)(implicit filter: Filter[a]): Option[a] =    
  3.     return filter.filter(input)(f)   
  4. }  

 对于已存在的类 ExistsClass，我们创建一个新的定义，返回从Filter接口派生的基于ExistsClass的实现

scala 代码
  1. implicit def implicitExists = new Filter[ExistsClass] {   
  2.   def filter(input:ExistsClass)(f: ExistsClass=>Boolean):Option[ExistsClass] =    
  3.      if (f(input)) Some(input) else  None    
  4. }  

这样问题就很简单了，由于implicit参数可以省略，编译器会自动地在编译的时候匹配，所以可以直接调用下面的代码。这样对于写好的抽象代码只需要增加implicit type，就可以无限地扩展到任何已存在的代码中，是不是很cool的性能？现在终于可以肆意地扩展已有的java library了

scala 代码
  1. scala> Filtering.filter(new ExistsClass)(a => true)   
  2. unnamed20: Option[ExistsClass] = Some(ExistsClass@1dae827)   
  3.   
  4. scala> Filtering.filter(new ExistsClass)(a => false)   
  5. unnamed21: Option[ExistsClass] = None  

 

最后再介绍一下implicit的另一个重要应用：type view。熟悉design pattern的人都知道wrapper pattern，当需要使用第三方的库又无法直接继承的时候，通常需要手工写一些wrapper method，如果恰巧要扩展的库有很多方法，无疑是一个非常枯燥的工作。通过scala的implicit type，我们可以定义一个类型的某种特殊的view，当compiler遇到一个对类型的未定义操作的时候，会在当前的compiler scope中自动寻找匹配的implicit def，这样对第三方的库进行扩展变成很简单的操作，implicit def一个view函数就好了。这一切都是编译期决定的，不会对性能有太大的损失，而且也保证了类型的安全性。

下面的例子，immuteClass只有simple方法，通过定义wrapperClass和implicit转换函数implicitWrapper，我们为immuteClass增加了一个wrapperClass的view，这样new出来的immuteClass对象（注意是immuteClass对象！）就可以调用wrapperClass的方法了！

scala 代码
  1. final class immuteClass {   
  2.   def simple = println("simple function")   
  3. }   
  4. class wrapperClass(imclass: immuteClass) {   
  5.   def advance = println("advance function")   
  6. }   
  7. object MainClass{   
  8.   implicit def implicitWrapper(im: immuteClass) = new wrapperClass(im)   
  9.   def main(args:Array[String]) {   
  10.     val im = new immuteClass   
  11.     // call simple method in immuteClass    
  12.     im.simple   
  13.     // immuteClass doesn't have advance method, so implicitWrapper automaticlly invoked   
  14.     // 等价于 implicitWrapper(im).advance   
  15.     im.advance       
  16.   }   
  17. }  


通过上面两个例子我们看到implicit type巨大的潜力，scala的类型系统被称为"Poor Man's Type System"，存在于已有的巨大的java资源上面，提供了高效、易于扩展和理解的功能。对scala的抽象类型、泛型的更多心得以后再记录。




已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Tue, 31 Jul 2007 19:54:00 +0800 http://fakechris.javaeye.com/blog/107445 http://fakechris.javaeye.com/blog/107445 scala学习笔记(4) -- xml fakechris 作者: fakechris  链接：http://fakechris.javaeye.com/blog/107102  发表时间: 2007年07月30日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

scala的特色之一就是内置了对xml语法的支持，通过scala强大的语法加上
xml native支持

例子xml文件

  1. <body>  
  2. <title>hellotitle